Технології

Microsoft поклала власні сервіси на 12 годин: винною виявилася помилка з липня

Масштабний збій Microsoft 365, який залишив мільйони користувачів без доступу до електронної пошти та робочих сервісів понад 12 годин, спричинила програмна помилка, що залишалася непоміченою більше трьох місяців. У найгірший момент перестали відповідати понад 80% мережевих шлюзових серверів компанії, а автоматичні системи відновлення лише погіршили ситуацію.

Про це пише Microsoft.

Глобальний збій 12 листопада порушив роботу Outlook, Exchange Online, Teams, SharePoint та інших продуктів Microsoft 365. Перші спроби відновити сервіси виявилися невдалими, тому проблеми з доступом тривали понад половину доби.

Причиною масштабної аварії стала помилка в програмному оновленні, яке інженери Microsoft підготували ще в липні. Вона залишалася прихованою понад три місяці, доки збільшення навантаження не спричинило масову відмову серверів.

Помилку містив код, розроблений спеціально для мережевих шлюзів Microsoft 365. За певного навантаження внутрішні процеси починали конкурувати за ресурси, через що сервери переставали відповідати.

Ця несправність не стосувалася звичайних оновлень Windows.

Проблемний код використовувався саме в інфраструктурі хмарних сервісів компанії.

Найдивніше, що оновлення успішно пройшло перевірки та кілька тижнів поступово встановлювалося на сервери по всьому світу. Проте стандартні тести так і не виявили небезпечної помилки.

Причина полягала у відмінностях між випробувальним середовищем і реальною інфраструктурою. У лабораторіях переважно використовували слабші сервери з меншою кількістю процесорних ядер.

Натомість помилка частіше проявлялася на сучасніших потужних машинах. Крім того, випробувальний трафік відрізнявся від реального навантаження на сервіси Microsoft.

Ланцюг подій, який призвів до глобального збою, розпочався приблизно за 15 годин до масової відмови серверів.

Трафік Microsoft Teams перемкнувся з резервного шлюзу на основний, який також обслуговує Exchange Online. Таке перемикання було передбачене архітектурою системи, але воно збільшило навантаження та змінило його характер.

Ситуацію ускладнила ще одна несправність, яка виникла попереднього дня. Через неї приблизно 14% потужностей мережевого шлюзу вже були недоступними.

Решти 86% вистачало для звичайної роботи. Однак поєднання зменшеної кількості серверів і додаткового навантаження активувало приховану програмну помилку.

Критична ситуація виникла в години найбільшого навантаження у США. Сервери почали масово переставати відповідати на запити користувачів.

Автоматичні системи Microsoft намагалися врятувати сервіси, перенаправляючи трафік на справні сервери. Але ті отримували ще більше запитів, після чого також виходили з ладу.

Менш ніж за дві години несправність поширилася на більшу частину мережевої інфраструктури.

У найгірший момент понад 80% шлюзових серверів Microsoft перестали відповідати. Додаткова проблема із системою ізоляції регіонів дозволила збою поширитися значно ширше, ніж передбачалося.

Зазвичай інфраструктуру Microsoft поділяють на окремі регіони, щоб несправність в одному з них не зачіпала решту. Однак цього разу захисний механізм не спрацював.

Частину продуктів вдалося відновити раніше завдяки перемиканню на інші шлюзи. Зокрема, це стосувалося Teams, OneDrive, SharePoint і застосунків Office.

Чати та зустрічі в Teams здебільшого продовжували працювати.

Натомість Exchange Online не мав можливості аналогічного перемикання, тому проблеми з електронною поштою тривали довше.

Спроби автоматично повернути сервери до роботи також провалювалися. Щойно вузли відновлювалися, на них надходила накопичена черга запитів, після чого вони знову переставали відповідати.

Швидко скасувати проблемне оновлення інженери не змогли, адже відповідний код використовувався ще з липня.

Тому Microsoft довелося розробити окреме виправлення, яке повертало програмне забезпечення до попереднього працездатного стану.

Інженери поступово виводили групи серверів з експлуатації, встановлювали виправлення, перезапускали обладнання та повертали його до роботи.

Іноді для відновлення доводилося одночасно виводити з роботи понад половину серверних потужностей окремого регіону.

Microsoft визнала, що аварія суттєво вплинула на повсякденну роботу клієнтів. Компанія вже оприлюднила попередні результати розслідування причин збою.

Остаточний звіт Microsoft обіцяє представити протягом цього тижня. Він має містити додаткові технічні подробиці та заходи для запобігання подібним аваріям у майбутньому.

Читайте ще