Về MetaDefender Cloud
MetaDefender Cloud là OPSWAT nền tảng phân tích phần mềm độc hại và phòng ngừa mối đe dọa tiên tiến dựa trên đám mây. Sự kết hợp độc đáo của chúng tôi Deep CDR kết hợp với Công nghệ nâng cao nhận dạng mã độc với đa ứng dụng xử lý từ hơn 20 công cụ AV tốt nhất bảo vệ các tổ chức khỏi các cuộc tấn công zero-day và phần mềm độc hại ngày càng tinh vi. MetaDefender Cloud hộp cát của 's kết hợp với băm thời gian thực, IP và phân tích tên miền bằng cách sử dụng OPSWAT Cơ sở dữ liệu tình báo mối đe dọa đẳng cấp thế giới hỗ trợ các nhà nghiên cứu phần mềm độc hại và cung cấp hiểu biết sâu sắc về các mối đe dọa hiện có và tiềm ẩn.
MetaDefender Cloud Nền tảng hiện đang hỗ trợ hơn 5 triệu yêu cầu quét mỗi ngày từ khách hàng của chúng tôi trong khi vẫn cung cấp cho họ thời gian quét trung bình là 0,4 giây.
Tại sao chúng tôi phát triển MetaDefender dưới dạng Dịch vụ (MDaaS)?
Để đáp ứng yêu cầu của thị trường và hỗ trợ khách hàng tốt hơn
Chúng tôi muốn đảm bảo rằng MetaDefender Cloud có thể mở rộng quy mô để đáp ứng các yêu cầu thay đổi và nhu cầu ngày càng tăng đối với các dịch vụ bảo mật ứng dụng tiên tiến và tính phức tạp ngày càng tăng của Bảo mật DevOps khi ngày càng nhiều ứng dụng chuyển sang đám mây. Với sự gia tăng lưu lượng tệp, điều cần thiết là MetaDefender Cloud duy trì và cải thiện hiệu suất để đảm bảo trải nghiệm người dùng mượt mà cho khách hàng cuối của chúng tôi.
Để tăng cường giám sát và mở rộng quy mô dự đoán
Chúng tôi quyết định di chuyển kiến trúc tại chỗ của mình sang Kubernetes hoạt động trên đám mây dựa trên các vi dịch vụ với cơ sở hạ tầng dưới dạng mã để có thể cung cấp trải nghiệm liền mạch và nhất quán so với mô hình triển khai và giám sát hiện tại.
MetaDefender Là một kiến trúc dịch vụ
Khi chúng tôi di chuyển sang MDaaS, Công nghệ nâng cao nhận dạng mã độc với đa ứng dụng xử lý dịch vụ đã được chuyển từ Windows-based AMI đến cụm dựa trên Kubernetes. Quản trị viên hiện có thể cấu hình khả năng mở rộng cho mỗi công cụ. Vì hiệu suất của các công cụ khác nhau nên có thể mở rộng các công cụ chậm hơn để duy trì thời gian quét nhanh.
Quy trình xử lý tệp bây giờ như sau:
1. Một thông báo từ người yêu cầu bên ngoài được gửi đến chủ đề Kafka “yêu cầu” (1) với các hướng dẫn yêu cầu, chẳng hạn như quét tệp bằng AV1, AV2, v.v., vệ sinh tệp bằng Deep CDR và phân tích tập tin với Sandbox , vân vân.
2. Sau đó, một trình trích xuất Lambda (2), đăng ký nhận tin nhắn, chia yêu cầu thành một số lệnh khác nhau và gửi chúng đến một chủ đề Kafka khác (3), sau đó chúng được phân loại và gán cho (các) công cụ có liên quan. (4)
3. Xử lý động cơ (4) là trái tim của hệ thống. Nó chứa một số bộ chứa động cơ, chạy trên Amazon Elastic Kubernetes Service (EKS) và có khả năng thay đổi quy mô hoặc mở rộng quy mô dựa trên khối lượng công việc. Mỗi động cơ xử lý một yêu cầu cụ thể giúp tăng hiệu suất xử lý.
4. Trong quá trình này, một vùng lưu trữ S3 (5) cũng được sử dụng để lưu trữ các tệp đầu vào và đầu ra.
5. Đồng thời, một mô-đun xử lý nhật ký có sẵn (6) nhận nhật ký từ các công cụ và đưa nó đến hệ thống phân tích nhật ký.
6. Sau khi xử lý tệp, kết quả thu được từ mỗi công cụ được trả về chủ đề Kafka "kết quả" (7)
7. Sau đó, một trình tổng hợp vi dịch vụ sử dụng AWS Lambda (8) hợp nhất kết quả thành một báo cáo và gửi báo cáo đó đến một chủ đề Kafka (9) để trả lời người yêu cầu.
Những thách thức và giải pháp kỹ thuật
Dự đoán hành vi của động cơ và xử lý các bất thường
MD truyền thống Core AMI triển khai cho phép các công cụ chạy trên một máy tính mạnh mẽ, nơi chúng có thể chia sẻ tài nguyên (CPU, RAM, Đĩa, Mạng, v.v.) với nhau. Tuy nhiên, với kiến trúc microservices, mỗi engine hoạt động riêng lẻ trong một container kém mạnh mẽ hơn. Do đó, rất khó để chúng tôi xác định các yêu cầu tài nguyên của hệ thống trong trường hợp này.
Để giải quyết vấn đề này, chúng tôi đã sử dụng dữ liệu lịch sử từ hệ thống cũ để đặt đường cơ sở cho từng động cơ và thêm giám sát Datadog. Chúng tôi tiếp tục theo dõi hành vi của động cơ và tinh chỉnh cơ sở hạ tầng cho đến khi sản phẩm đạt được hiệu suất vượt trội.
Duy trì sự cân bằng giữa hiệu suất và chi phí lưu trữ
Với kiến trúc mới, MetaDefender Cloud có thể dễ dàng mở rộng quy mô để thích ứng với nhu cầu vô hạn của khách hàng và hoạt động ở mức tối ưu. Tuy nhiên, điều này cũng có nghĩa là chi phí bảo trì có thể tăng theo tỷ lệ. Nếu không có kiểm tra chi tiêu hoặc mô hình quản trị, việc mở rộng quy mô có thể không kiểm soát được, dẫn đến tăng hóa đơn dịch vụ đám mây vượt xa ngân sách ban đầu được phân bổ.
Do đó, việc đánh giá kiến trúc thường xuyên với các bên liên quan đã được tiến hành để đảm bảo trải nghiệm nhất quán với chi phí ổn định và cân bằng.
Mô phỏng môi trường
Mô phỏng tải sản xuất vào môi trường phi sản xuất mà không có dữ liệu thực tế là một thách thức. Để xử lý vấn đề này, chúng tôi thiết lập quy trình làm việc song song để dữ liệu thực sẽ đi qua cả kiến trúc cũ và mới, cho phép chúng tôi đánh giá các số liệu chính của cả hai bên cạnh nhau. So sánh táo với táo này cho phép chúng tôi xác định nhanh chóng và hiệu quả các khu vực mà kiến trúc mới vượt trội so với kiến trúc cũ cũng như nơi kiến trúc mới cần được cải thiện.
Giám sát, báo cáo &� kiểm soát
Giám sát cơ sở hạ tầng đám mây theo thời gian thực
MetaDefender Cloud nhấn mạnh vào việc xây dựng giám sát mạnh mẽ vào hệ thống của mình để cung cấp cái nhìn rõ ràng về tình trạng hệ thống. Đối với một dịch vụ như MDaaS có thể - xử lý hơn 44 yêu cầu mỗi giây (RPS) với tỷ lệ lỗi 0,6%, dựa vào một số hệ thống thượng nguồn và hệ sinh thái đối tác làm nguồn lưu lượng truy cập và đồng thời tạo ra lưu lượng truy cập lớn cho các hệ thống hạ nguồn bên trong và bên ngoài khác nhau, điều quan trọng là phải có sự kết hợp chặt chẽ giữa số liệu, cảnh báo và ghi nhật ký.
Cảnh báo về lưu lượng truy cập bất thường cao theo môi trường trong Datadog
Ngoài các chỉ số sức khỏe hệ thống tiêu chuẩn như CPU, bộ nhớ và hiệu suất, chúng tôi đã thêm một số chỉ số "cạnh dịch vụ" như tăng trưởng hàng đợi, thời gian phản hồi dịch vụ, bánh trạng thái và ghi nhật ký để nắm bắt bất kỳ quang sai nào từ các hệ thống thượng nguồn hoặc hạ lưu. Hơn nữa, chúng tôi đã thêm phân tích xu hướng cho các số liệu quan trọng để giúp nắm bắt sự xuống cấp dài hạn. Chúng tôi đã thiết bị MDaaS với một ứng dụng xử lý luồng thời gian thực có tên Datadog (bạn có thể tìm hiểu thêm về nó ở đây). Nó cho phép chúng tôi theo dõi các sự kiện trong thời gian thực qua dây ở độ chi tiết cụ thể của container, giúp gỡ lỗi dễ dàng hơn. Cuối cùng, chúng tôi thấy hữu ích khi có cảnh báo dành riêng cho dịch vụ để giúp xác định nguyên nhân gốc rễ của vấn đề nhanh hơn.
Tạo sự cố trên các trường hợp ngoại lệ đòi hỏi sự chú ý của Kỹ sư độ tin cậy trang web trong Datadog
Giám sát SaaS với nền tảng Datadog cho phép các nhóm tham gia nhanh chóng và dễ dàng hơn, đồng thời loại bỏ nhu cầu bảo trì công cụ liên tục, mở rộng quy mô, cập nhật hoặc quản lý công suất. Những lợi ích này có nghĩa là các nhóm có nhiều thời gian hơn để làm việc trên sản phẩm cốt lõi và không phải tự tạo giải pháp giám sát.
Kết quả
• Bằng cách di chuyển sang MDaaS, vi dịch vụ động cơ giờ đây linh hoạt hơn để giúp đáp ứng các yêu cầu kiểm soát bảo mật cơ bản vừa phải của FedRAMP.
• Giám sát hiệu suất ứng dụng hiện được tăng cường với cảnh báo và bảng điều khiển theo thời gian thực. Kiến trúc microservices mới cho phép quản trị viên giám sát ứng dụng và từng thành phần một cách dễ dàng và hiệu quả. Nó cũng tạo điều kiện triển khai dễ dàng và khả năng mở rộng.
• Theo như cơ sở hạ tầng được định nghĩa là mã, nó cho phép người dùng dễ dàng chỉnh sửa và phân phối các cấu hình trong khi vẫn đảm bảo trạng thái mong muốn của cơ sở hạ tầng. Điều này có nghĩa là bạn có thể tạo các cấu hình cơ sở hạ tầng có thể tái tạo.
Tìm hiểu thêm về MetaDefender Cloud hoặc liên hệ với chúng tôi để biết thêm thông tin.
