Microsoft оприлюднила пояснення масштабного збою Microsoft 365 який розпочався 12 листопада та порушив роботу низки корпоративних сервісів до ранку 14 листопада. Причиною стала комбінація програмної помилки, різкого зростання навантаження та тимчасового скорочення доступних серверних потужностей. У найгірший момент понад 80% серверів мережевого шлюзу перестали відповідати на запити. Про це повідомив виконавчий віцепрезидент Microsoft Чарльз Ламанна, відповідальний за підрозділ Copilot, ШІ-агентів і платформних рішень.
За поясненням Microsoft, збій виник через одночасну дію трьох чинників. Першим стала прихована помилка в програмному коді мережевого шлюзу, другим — збільшення навантаження на нього, а третім — тимчасова недоступність частини серверних потужностей.
Програмна помилка існувала з липня. Вона виникла після виправлення, спеціально підготовленого для серверів мережевих шлюзів Microsoft 365, і не стосувалася загального розгортання Windows. Через конфлікт блокувань (lock contention) внутрішні процеси могли затримувати один одного, внаслідок чого сервери за певних умов навантаження переставали відповідати.
Збій у Google Cloud порушив роботу британських банків
Зміни поступово розгорнули по всьому світу ще в липні, але протягом понад трьох місяців вони не спричиняли помітних проблем. Стандартні тести також не виявили дефекту, оскільки проводилися переважно на менш потужному обладнанні з меншою кількістю ядер, тоді як помилка сильніше проявлялася на новіших серверах.
Другим чинником стало перемикання Microsoft Teams на основний мережевий шлюз приблизно за 15 годин до початку інциденту. Цей шлюз також обслуговує Exchange Online, тому перехід збільшив навантаження та змінив характер трафіку, який проходив через інфраструктуру.
Водночас близько 14% серверних потужностей шлюзу залишалися виведеними з експлуатації через іншу проблему, що виникла напередодні. Їх мали повернути в роботу під час планового технічного обслуговування, а самостійно це скорочення не мало вплинути на стабільність сервісу, оскільки система мала достатній резерв потужності.
Трамп назвав причину масштабного збою в авіації
Поєднання цих обставин активувало приховану помилку. Запити почали накопичуватися,
сервери втрачали працездатність, а система автоматичного перенаправлення трафіку на інші вузли лише посилювала проблему: навантаження розподілялося між дедалі меншою кількістю доступних серверів.
Так виник каскадний збій, який менш ніж за дві години поширився на всю інфраструктуру. У найгірший момент понад 80% серверів перестали відповідати на запити, а механізми ізоляції окремих сегментів мережевого шлюзу не змогли зупинити поширення проблеми на глобальному рівні.
Не всі сервіси Microsoft 365 постраждали однаково. Teams, OneDrive, SharePoint і частина програм Office змогли продовжити роботу, оскільки мали можливість функціонувати в обхід несправного мережевого шлюзу. Зокрема, чати в Teams працювали протягом більшої частини періоду перебоїв, тоді як Exchange Online не міг скористатися таким обхідним механізмом.
Масштабний збій у Meta: сервіси компанії некоректно працюють у всьому світі — CNET
Відновлення тривало довше ніж зазвичай, оскільки сервери після перезапуску одразу отримували накопичені запити й знову перевантажувалися. Автоматизовані механізми Microsoft не були розраховані на відновлення інфраструктури за настільки масштабної відмови,
а стандартні інструменти скасування оновлень не допомогли швидко усунути дефект, який залишався непоміченим кілька місяців.
Після встановлення причини інциденту інженери підготували виправлення, яке повернуло виконання коду до попереднього працездатного стану. Його застосовували поступово: групи серверів виводили з експлуатації, оновлювали, перезапускали та повертали до роботи.
Минулого рокуподібні збої фіксували тричі за місяць у роботі провідних хмарних провайдерів — Amazon Web Services, Microsoft Azure та Cloudflare, через що тимчасово припиняли роботу популярні соцмережі, месенджери, ігри, а також виникали проблеми з реєстрацією на авіарейси. Експерти з кібербезпеки та політики тоді попереджали, що надмірна концентрація хмарних систем створює «єдині точки відмови» та несе прямі ризики для глобальної економіки й національної безпеки.