Trong vài ngày qua, tôi đã đọc các tin tức về sự cố ngừng hoạt động tại Microsoft, Cục Hàng không Liên bang (FAA), United Airlines, Chase và Amtrak. Tôi cũng đã gọi điện cho bạn bè, người thân và các nhân viên bị ảnh hưởng bởi sự cố này, để hỏi thăm xem họ có ổn không và họ sẽ về nhà bằng cách nào.
Từ “sự cố gián đoạn” mang một ý nghĩa khác hẳn khi người thân của bạn bị kẹt lại tại sân bay. Đằng sau những lời giải thích kỹ thuật ấy là những đứa trẻ mệt mỏi, những hành khách lớn tuổi đang xếp hàng chờ đợi, những chuyến bay nối chuyến bị lỡ và những kế hoạch tan vỡ. Đối với một doanh nghiệp, điều này có thể đồng nghĩa với việc mất đơn hàng, thanh toán bị trì hoãn và một ngày làm việc trôi qua vô ích.
Tôi là người sáng lập kiêm Giám đốc điều hành (CEO) của OPSWAT, một công ty an ninh mạng chuyên bảo vệ cơ sở hạ tầng trọng yếu. Tôi cũng là một phi công có chứng chỉ bay theo thiết bị. Khi nhìn vào những sự cố này, tôi không ngừng tự hỏi: tại sao chúng ta không áp dụng nhiều hơn những nguyên tắc giúp máy bay vận hành trơn tru vào cơ sở hạ tầng mà chúng ta phụ thuộc hàng ngày?
Một chiếc máy bay tích hợp các hệ thống động lực, định vị, liên lạc và điều khiển bay trong một không gian cực kỳ nhỏ gọn. Các hệ thống này phối hợp hoạt động với nhau, đôi khi trong những điều kiện khó khăn, và tính mạng của con người phụ thuộc vào chúng.
Thiết kế này dựa trên giả định rằng sẽ xảy ra sự cố. Phần lớn quá trình huấn luyện phi công tập trung vào việc nhận diện những sự cố đó và biết phải xử lý như thế nào tiếp theo. Bạn luyện tập khi vẫn còn có thể mắc sai lầm mà không phải lo lắng.
Ví dụ như nguồn điện. Máy phát điện xoay chiều tạo ra điện cho máy bay. Đúng vậy, nó có thể giúp sạc iPhone của bạn, nhưng tôi quan tâm hơn đến việc đảm bảo các thiết bị vô tuyến và thiết bị bay vẫn hoạt động bình thường.
Trên một chiếc máy bay được trang bị hai máy phát điện xoay chiều, một máy có thể đảm bảo cung cấp điện cho các tải thiết yếu nếu máy còn lại bị hỏng. Nếu cả hai máy đều bị hỏng, ắc-quy có thể cung cấp thời gian hoạt động hạn chế. Bạn cần giảm tải và tận dụng khoảng thời gian đó để xử lý tình huống khẩn cấp.
Điểm quan trọng cần lưu ý là máy phát điện và ắc-quy hoạt động theo những cách khác nhau. Một cái tạo ra điện, còn cái kia lưu trữ điện. Ắc-quy cung cấp cho bạn một giải pháp dự phòng để duy trì hoạt động của các thiết bị thiết yếu khi hệ thống phát điện ngừng hoạt động.
Cách suy nghĩ đó còn đi xa hơn nữa. Airbus đã ghi chép lại các thiết kế hệ thống điều khiển bay sử dụng phần cứng và phần mềm khác nhau trên máy tính chính và máy tính phụ, bao gồm cả các hệ thống phụ đơn giản hơn. Mục đích là nhằm giảm thiểu nguy cơ một lỗi kỹ thuật có thể làm tê liệt mọi phương án thực hiện một chức năng quan trọng.
Tôi thường mang theo chiếc iPad cài đặt ứng dụng ForeFlight bên cạnh các thiết bị đo đạc đã có sẵn trên máy bay. Đây là một công cụ hỗ trợ bổ sung, với các tính năng phụ thuộc vào các cảm biến được kết nối, và tôi cần phải hiểu rõ những giới hạn của nó. Tuy nhiên, việc có thêm một nguồn thông tin bay khác, trên một thiết bị phần cứng riêng biệt với pin riêng, vẫn mang lại cho tôi một chút an tâm.
Bây giờ hãy xem xét cùng một vấn đề trong lĩnh vực CNTT, trong các hệ thống quan trọng và các hệ thống cơ sở hạ tầng quan trọng ( cơ sở hạ tầng trọng yếu). Những hệ thống này có vai trò bảo vệ tính mạng hoặc tự do, chẳng hạn như máy bay, vì vậy chúng ta nên áp dụng cùng một tư duy thiết kế.
Nếu hệ thống chính và hệ thống dự phòng của tôi chạy cùng một phần mềm, nhận cùng một bản cập nhật và phụ thuộc vào cùng một mạng, thì mức độ độc lập giữa chúng là bao nhiêu? Việc di chuyển một trong hai hệ thống sang một tòa nhà khác không thể loại bỏ lỗi trong mã nguồn. Một nền tảng đám mây thứ hai vẫn có thể phụ thuộc vào cùng một dịch vụ xác thực hoặc nguồn dữ liệu.
Chúng ta có thể sao chép một hệ thống và đồng thời sao chép cả những điểm yếu của nó.
Nếu cùng một sự cố có thể làm sập cả hai hệ thống, liệu chúng ta có thực sự có một hệ thống dự phòng không?
Những sự việc gần đây cho thấy tại sao câu hỏi đó lại thực sự quan trọng.
Microsoft, ngày 12 và 13 tháng 11
Báo cáo sơ bộ của họ mô tả một lỗi phần mềm tiềm ẩn, lưu lượng truy cập cổng tăng cao và dung lượng giảm sút. Việc chuyển hướng lưu lượng truy cập khỏi các máy chủ gặp sự cố đã góp phần lan rộng sự cố sang các máy chủ khác có cùng điểm yếu. Microsoft đã có sẵn các kiến trúc cổng khác nhau, nhưng một số dịch vụ, bao gồm Exchange Online, không thể chuyển sang giải pháp thay thế ở quy mô cần thiết. Tôi đánh giá cao những thông tin chi tiết mà Microsoft đã công bố. Bài học rút ra từ vụ việc “ My ” là tính độc lập và khả năng xử lý cần được kiểm tra song song với nhau. Tôi tin rằng một kiến trúc thay thế cần đảm nhận các tác vụ thiết yếu với vai trò là bản sao lưu nóng khi thực sự cần thiết.
FAA, ngày 13 tháng 11
Cục Hàng không Liên bang Mỹ (FAA) đã mô tả tình trạng quá tải mạng xảy ra trong thời gian tiến hành công tác thay thế các bộ định tuyến. Việc chặn hai địa điểm nghi là nguồn gốc của sự cố đã giúp ổn định lại mạng lưới. Các kiểm soát viên không lưu và phi công vẫn duy trì được an toàn, nhưng các chuyến bay cất cánh trên toàn quốc đã phải tạm dừng. Nguyên nhân gốc rễ vẫn đang được điều tra, và FAA khẳng định hệ thống SMART (Quản lý Chiến lược Không phận, Tuyến bay và Quỹ đạo) không liên quan đến sự cố này. Câu hỏi về kiến trúc mạng là tại sao một sự cố tại một số ít địa điểm lại lan rộng đến vậy, và những biện pháp cách ly bổ sung cùng hệ thống liên lạc độc lập nào có thể giúp duy trì hoạt động an toàn hơn. Tuy nhiên, liệu chúng ta có nên đặt câu hỏi về nguyên nhân khiến kiến trúc hiện tại sụp đổ, và tại sao hệ thống SMART lại bị loại trừ khỏi danh sách nghi vấn?
Amtrak, ngày 13 tháng 11
Các vấn đề về đặt vé đã nảy sinh trong bối cảnh hành khách bị kẹt lại đang tìm kiếm các phương án thay thế. Amtrak cho biết nguyên nhân là do cập nhật hệ thống và nhu cầu tăng cao, mặc dù nguyên nhân kỹ thuật cụ thể vẫn chưa rõ ràng. Đây là một tình huống mà tôi sẽ đưa vào bất kỳ bài tập ứng phó sự cố nào: khi một phần của cơ sở hạ tầng của chúng ta gặp sự cố, mọi người sẽ chuyển sang sử dụng phần khác. Hệ thống tiếp theo cũng cần có khả năng đáp ứng nhu cầu của những người đó.
United, ngày 16 tháng 11
Reuters đưa tin rằng sự cố ngừng hoạt động đã ảnh hưởng đến nhiều ứng dụng dành cho phi hành đoàn và khiến United không thể cung cấp trọng lượng cuối cùng của máy bay cho các chuyến bay sắp cất cánh. Nguyên nhân kỹ thuật cụ thể vẫn chưa được tiết lộ. Hãy thử nghĩ xem: máy bay, phi hành đoàn và hành khách đều đã sẵn sàng, nhưng chuyến bay vẫn không thể cất cánh nếu thiếu thông tin thiết yếu. Bất kỳ giải pháp thay thế nào cũng phải có dữ liệu xếp hàng cập nhật và chính xác. Dữ liệu dự phòng từ ngày hôm qua sẽ không đủ. Chúng ta cần khôi phục hệ thống hoạt động bình thường với dữ liệu mới nhất.
Chase, ngày 16 tháng 11.
Một lỗi phần mềm nội bộ đã gây trì hoãn các giao dịch, bao gồm cả các khoản thanh toán liên quan đến các ngân hàng khác. Trong trường hợp này, quá trình khôi phục phải đảm bảo tính toàn vẹn của hồ sơ tài chính. Việc chuyển đổi nhanh chóng chỉ có hiệu quả nếu các khoản thanh toán đã được ghi nhận, số dư chính xác và các giao dịch không bị xử lý hai lần. Điều này cần được chứng minh trong điều kiện khối lượng giao dịch thực tế.
Đây là những vụ việc riêng biệt, và chúng ta nên thận trọng khi đưa ra kết luận trong khi cuộc điều tra vẫn đang diễn ra. Tuy nhiên, đã có đủ thông tin ở đây để chúng ta đưa vào các cuộc thảo luận về kỹ thuật của mình.
Và giờ đây, chúng ta đang tích hợp trí tuệ nhân tạo (AI) vào các hệ thống mà chúng ta đang phụ thuộc vào.
Việc khôi phục một ứng dụng thông thường vốn đã là một thách thức. Một hệ thống vận hành bằng trí tuệ nhân tạo (AI) lại bao gồm thêm mô hình, môi trường chạy, kho dữ liệu và các đường ống xử lý, mà mối quan hệ giữa chúng có thể rất khó gỡ rối khi xảy ra sự cố. Ngay cả khi mô hình không thay đổi, dữ liệu và bối cảnh vận hành vẫn có thể biến đổi. Việc khôi phục một phiên bản mã nguồn trước đó có thể dẫn đến tình trạng các thành phần không còn tương tác chính xác với nhau.
Phần mềm có thể tiếp tục hoạt động ngay cả khi hệ thống vẫn đưa ra các đề xuất không phù hợp.
Đó là lý do tại sao tôi coi một hệ thống trí tuệ nhân tạo (AI) như một môi trường vận hành sống động. Quá trình khôi phục có nghĩa là tìm hiểu những gì đã thay đổi, khôi phục các thành phần tương thích và kiểm tra lại hành vi của hệ thống trước khi tiếp tục tin tưởng vào nó.
Trong thời gian công việc đó đang được tiến hành, mọi người vẫn cần đến dịch vụ này.
Đối với các chức năng quan trọng nhất của chúng ta, tôi cho rằng chúng ta nên xem xét việc triển khai riêng biệt trên một kiến trúc khác, vốn đã đang hoạt động và sẵn sàng tiếp quản. Đó có thể là một nền tảng trí tuệ nhân tạo khác. Cũng có thể là một hệ thống truyền thống đơn giản hơn, có khả năng duy trì các hoạt động thiết yếu.
Sự độc lập phải được mở rộng đến tận cấp độ bên dưới ứng dụng. Các phần mềm khác nhau trên cùng một mạng bị lỗi vẫn có thể không truy cập được. Hai mô hình khác nhau sử dụng cùng một dữ liệu bị hỏng vẫn có thể cho ra kết quả sai. Chúng ta cần kiểm tra toàn bộ đường dẫn mà dịch vụ phụ thuộc vào. Chúng ta cần áp dụng cách tiếp cận tương tự như tôi đã mô tả trong ví dụ về kiến trúc buồng lái của Airbus.
Tôi biết điều này tốn kém và làm tăng độ phức tạp. Giải pháp thay thế không cần phải có tất cả các tính năng của hệ thống chính. Giống như pin trên máy bay, nó cần đảm bảo các chức năng thiết yếu trong một khoảng thời gian nhất định, bằng cách sử dụng một kiến trúc khác.
Hãy bắt đầu bằng việc xác định những gì cần phải duy trì hoạt động, ở mức độ nào và trong bao lâu. Nếu hoạt động đó chỉ có thể chấp nhận sự gián đoạn trong vài mili giây hoặc vài giây, thì đó sẽ trở thành một yêu cầu kỹ thuật mà chúng ta phải chứng minh được. Việc khôi phục lại mọi thứ còn lại có thể mất nhiều thời gian hơn.
Sau đó, tiến hành kiểm tra áp lực đối với thiết kế trong điều kiện được kiểm soát. Tắt chức năng AI. Ngắt kết nối mạng. Cung cấp dữ liệu lỗi thời, một bản vá lỗi hoặc giả định một vụ xâm nhập mạng. Thử nghiệm khi hệ thống dự phòng đã mất một phần dung lượng. Quan sát diễn biến khi người dùng thực sự phải thực hiện quá trình chuyển đổi, và đánh giá xem dịch vụ có vẫn hoạt động bình thường và chính xác hay không.
Trong buồng lái, tôi cần biết những gì vẫn còn hoạt động sau khi xảy ra sự cố, chúng sẽ hoạt động được bao lâu, và tôi phải làm gì tiếp theo. Tôi cần có những câu trả lời đó trước khi cất cánh.
Các gia đình đang cố gắng trở về nhà và các doanh nghiệp đang chờ nhận thanh toán xứng đáng được chúng ta chuẩn bị kỹ lưỡng như vậy.
Trong cuộc họp lãnh đạo tiếp theo, hãy hỏi đội ngũ của bạn rằng: “Nếu hệ thống chính của chúng ta bị hỏng ngay lúc này, điều gì sẽ vẫn hoạt động bình thường, và liệu sự cố đó có thể làm mất đi cả điều đó không?”
Hãy đi sâu vào thiết kế và kiến trúc chi tiết, đồng thời cố gắng tìm ra những lỗ hổng trong đó. Mạng lưới truyền thông ( Server ) bị ngắt, hệ thống liên lạc ngừng hoạt động, hoặc xảy ra sự cố an ninh mạng. Nếu đó là một hệ thống trí tuệ nhân tạo (AI) như SMART, hãy nghiên cứu các thành phần của nó. Giả định rằng hệ thống có thể mất kiểm soát, hạn chế băng thông và chuẩn bị sẵn một hệ thống dự phòng với kiến trúc khác để có thể hoạt động ngay lập tức trong trường hợp toàn bộ hệ thống chính bị ngừng hoạt động.
Sau đó, hãy nhờ họ chỉ cho bạn xem.
Lần mất điện tiếp theo không nên là lần đầu tiên chúng ta mới biết liệu hệ thống dự phòng có hoạt động được hay không.
