Microsoft 365 gặp sự cố hơn 13 giờ vẫn chưa khắc phục xong: Chuyện gì đang xảy ra?
Sự cố Microsoft 365 kéo dài gần 13 giờ, ảnh hưởng đến Outlook cùng một số tính năng của Teams và Copilot. Microsoft cho biết nhiều máy chủ bất ngờ ngừng hoạt động, khiến hệ thống quá tải. Đến trưa 13/11 (giờ Việt Nam), dịch vụ vẫn chưa được khôi phục ổn định.
Sự cố bắt đầu vào cuối buổi sáng 12/11 theo giờ miền Đông nước Mỹ và kéo dài đến trưa 13/11 theo giờ Việt Nam. Theo nền tảng theo dõi trực tuyến thời gian thực về tình trạng hoạt động và các sự cố Downdetector, số báo cáo lỗi Outlook đạt đỉnh 138.058 vào khoảng 1h sáng 13/11 (giờ Việt Nam). Microsoft 365 cũng ghi nhận hơn 46.000 báo cáo ở một thời điểm khác. Chỉ trong khoảng một giờ, sự cố đã được người dùng tại 74 quốc gia và vùng lãnh thổ phản ánh.
Diễn biến sự cố Microsoft 365 trong một đêm
Microsoft ghi nhận sự cố với mã EX1550543 trên hệ thống quản trị dành cho doanh nghiệp, cảnh báo người dùng có thể không truy cập được hộp thư Exchange Online, dịch vụ email nền tảng của Outlook trong các tổ chức. Sau đó, hãng thông báo sự cố trên tài khoản Microsoft 365 Status tại mạng xã hội X, nhưng ban đầu chỉ xác định phạm vi ảnh hưởng ở châu Mỹ.
Microsoft sau đó mở rộng cảnh báo sang các dịch vụ khác của Microsoft 365, chủ yếu là những tính năng phụ thuộc vào Exchange Online. Trên Teams, người dùng có thể gặp lỗi khi xem lịch hoặc đặt cuộc họp, trong khi nhắn tin và họp trực tuyến phần lớn vẫn hoạt động. Các tệp lưu trực tiếp trên SharePoint vẫn truy cập được. Một số tính năng Copilot cũng bị ảnh hưởng do không thể lấy dữ liệu từ email, lịch và tài liệu liên quan.
Ban đầu, Microsoft ghi nhận tình trạng quá tải tại nhiều khu vực. Tuy nhiên, hãng sau đó xác định vấn đề không xuất phát từ lượng truy cập tăng đột biến mà do hàng loạt máy chủ bất ngờ ngừng phục vụ, khiến những máy còn lại phải xử lí thêm lưu lượng.
Khoảng 2h sáng 13/11 (giờ Việt Nam), Microsoft tạm dừng triển khai phần mềm và thay đổi cấu hình để tập trung khắc phục sự cố. Hãng chuyển bớt lưu lượng khỏi khu vực bị ảnh hưởng, đồng thời khởi động lại các máy chủ. Đến khoảng 6h, một số máy đã hoạt động ổn định, nhưng có nguy cơ tiếp tục ngừng phản hồi khi lưu lượng tăng trở lại.
Gần 7h, Microsoft bắt đầu hạn chế một số loại lưu lượng và thử khôi phục nhóm máy chủ bằng cấu hình phần mềm cũ. Đến 9h, việc khởi động lại từng cụm máy chủ cho thấy kết quả khả quan. Tuy nhiên, lúc 10h13, hãng thừa nhận những biện pháp vừa áp dụng chưa mang lại hiệu quả như mong đợi.
Vì sao hàng loạt máy chủ Microsoft ngừng hoạt động?
Microsoft sử dụng cơ chế kiểm tra sức khỏe tự động để xác định máy chủ nào đủ điều kiện tiếp nhận lưu lượng. Những máy không vượt qua bước kiểm tra sẽ bị tạm loại khỏi hệ thống. Trong sự cố lần này, hàng loạt máy chủ bị loại gần như cùng lúc, khiến lưu lượng dồn sang những máy còn hoạt động và gây quá tải.
Công ty cho rằng lỗi có thể nằm ở chính thành phần xử lí kết quả kiểm tra trên máy chủ. Hãng cho một nhóm máy bỏ qua thành phần này và chặn không để thêm máy bị loại. Mức sử dụng bộ xử lí tăng bất thường trên các máy chủ này cũng đang được điều tra.
Nguyên nhân gốc của sự cố Microsoft 365 vẫn chưa được xác định. Ban đầu, Microsoft nghi một thay đổi ở thành phần kiểm tra sức khỏe. Sau đó, hãng nói chưa thấy thay đổi nào trùng với lúc sự cố bắt đầu. Sáng 13/11, Microsoft lại cho biết đang hoàn tác một thay đổi cấu hình mạng gần đây. Thời điểm triển khai thay đổi này trùng với lúc sự cố xuất hiện. Hãng chưa xác nhận đây có phải thủ phạm hay không.
Microsoft cũng giải thích vì sao máy chủ vừa khôi phục lại ngừng phản hồi. Theo ABC Australia, nguyên nhân là một tiến trình thiết lập kết nối an toàn trên máy chủ bị quá tải. Khi tiến trình này nghẽn, máy chủ thôi xử lí yêu cầu. Hãng vì thế phải khôi phục máy chủ theo từng nhóm và hạn chế lưu lượng. Các ứng dụng Outlook tự động kết nối lại có thể tạo thêm sức ép, dù Microsoft chưa xác nhận điều này. Microsoft khẳng định không có dấu hiệu sự cố là kết quả của hoạt động độc hại. Trước đó, Bộ trưởng Nội vụ Australia Tony Burke cũng cho biết hãng không tin đây là một cuộc tấn công mạng.
Sự cố email lan sang doanh nghiệp và công cụ AI
Exchange Online chịu ảnh hưởng nặng nhất, nhưng sự cố Microsoft 365 lần này còn tác động tới nhiều công cụ khác. Theo số liệu công bố hồi tháng 1, Microsoft 365 có hơn 450 triệu suất trả phí cho doanh nghiệp. Con số này phản ánh quy mô khách hàng, không phải số tài khoản bị gián đoạn. Hãng xe tải điện Workhorse Group của Mỹ dời ngày báo cáo quý III sang 16/11. Lí do được nêu là “sự cố Microsoft toàn cầu”. Ở Đức, hãng đường sắt Deutsche Bahn cho biết email chậm nghiêm trọng, khiến việc gửi lịch chạy tàu chuyển hướng gặp khó.
Nhiều công cụ AI cũng phụ thuộc vào các kết nối này. Theo Reuters, OpenAI đang điều tra lỗi ở trình kết nối Microsoft khiến kết nối mới có thể thất bại. Anthropic xác nhận lỗi từ nhà cung cấp thượng nguồn đã ảnh hưởng tới trình kết nối Microsoft 365. Copilot của Microsoft, sản phẩm có hơn 30 triệu suất trả phí, cũng bị ảnh hưởng. Khi không truy cập được email và lịch, các tính năng AI dựa trên dữ liệu đó có thể gián đoạn.
Đây không phải sự cố Microsoft 365 đầu tiên trong năm. Hồi tháng 1, một đợt gián đoạn khác kéo dài gần 10 giờ. Ngày 31/8, Exchange Online trục trặc vì lỗi cấu hình xác thực lõi. Theo Reuters, tháng trước nền tảng đám mây Azure cũng gặp sự cố ảnh hưởng tới bộ ứng dụng văn phòng.
Đến gần 12h trưa 13/11 (giờ Việt Nam), Microsoft vẫn chưa khôi phục hoàn toàn dịch vụ và chưa công bố thời điểm khắc phục xong. Trong quá trình xử lí, hãng ghi nhận lượng yêu cầu từ hệ thống định tuyến tới các máy chủ tăng bất thường, buộc phải bổ sung máy ảo để giảm tải. Microsoft cũng chưa giải thích được vì sao cơ chế kiểm tra sức khỏe, vốn dùng để phát hiện và loại máy chủ gặp lỗi, lại góp phần khiến hàng loạt máy chủ ngừng phục vụ.
