Завантажити ще

У Microsoft пояснили причини збою Microsoft 365, який зачепив понад 70 країн

У Microsoft пояснили причини збою Microsoft 365, який зачепив понад 70 країн
Фото: Cheng Xin/Getty Images

12 листопада в роботі Microsoft 365 стався масштабний збій, наслідки якого користувачі відчували понад добу. Проблеми торкнулися більш ніж 70 країн світу, порушивши роботу корпоративних сервісів, державних установ і банків. Згодом Чарльз Ламанна, виконавчий віцепрезидент Microsoft, відповідальний за Copilot, ШІ-агентів і платформи, розкрив технічні причини інциденту.

- Ми щиро перепрошуємо всіх наших клієнтів за спричинені незручності та усвідомлюємо, наскільки суттєво цей інцидент вплинув на їхню звичну роботу та бізнес-процеси. Інцидент, що стався в четвер, 12 листопада 2026 року, був спричинений сукупністю трьох основних факторів, які разом призвели до глобального збою мережевого шлюзу, через який здійснюється доступ до багатьох служб Microsoft 365, - зазначив Ламанна.

По-перше, прихований дефект у програмному коді призвів до того, що за певних умов навантаження сервери перевантажувалися та переставали відповідати на запити. Причиною стала конкуренція за блокування (lock contention) усередині одного з внутрішніх процесів, унаслідок чого сервер ставав недоступним. Цей дефект виник у результаті виправлення, розробленого спеціально для серверів мережевого шлюзу Microsoft 365. 

Перші зміни в роботі системи почали впроваджуватися в липні цього року. Оновлення пройшло всі етапи безпечного розгортання та протягом кількох тижнів було поступово впроваджене в усьому світі. Упродовж цього періоду жодних проблем не спостерігалося. Понад три місяці оновлення працювало глобально без будь-якого негативного впливу на сервіси.

- Наші стандартні навантажувальні тести не виявили прихованої проблеми через відмінності в типах трафіку та конфігураціях SKU, які використовувалися в тестових середовищах. Проблема конкуренції за блокування посилюється на серверах із більшою кількістю ядер і новішим обладнанням, тоді як під час тестування ми переважно використовували менш потужні конфігурації серверів із меншою кількістю ядер, - додав він.

По-друге, різке зростання навантаження підвищило ймовірність виникнення цієї проблеми на мережевих шлюзах. У межах Microsoft 365 компанія використовує дві незалежні мережеві інфраструктури шлюзів із різними технічними реалізаціями. Вони призначені для ізоляції компонентів і забезпечення високої доступності сервісів. Завдяки цьому багато служб Microsoft 365 можуть перемикатися між ними у разі збоїв або перебоїв у роботі.

- Приблизно за 15 годин до початку інциденту Teams переключився з альтернативного мережевого шлюзу на основний, який також обслуговує Exchange Online. Це збільшило навантаження на основний шлюз і змінило характер мережевого трафіку. Таке перемикання є частиною штатних операційних процесів і важливим елементом стандартних механізмів забезпечення відмовостійкості Microsoft, - зазначив Ламанна.

По-третє, одночасно майже 14% серверних потужностей мережевого шлюзу були виведені з експлуатації через іншу, не пов'язану з цим інцидентом проблему, що виникла напередодні. Планувалося, що ці серверні потужності будуть повернуті до активної роботи в межах планового технічного обслуговування та стандартних процедур перевірки працездатності. Загальний резерв потужностей сервісу був достатнім, тому саме по собі скорочення кількості доступних серверів не вплинуло на роботу системи.

У сукупності збільшене навантаження та зменшення доступних серверних потужностей призвели до прояву прихованого програмного дефекту, який з'явився ще в липні. Унаслідок цього запити почали накопичуватися в чергах, доки сервери зрештою не припинили відповідати. Збій стався в період пікового навантаження на мережу у США.

За словами Ламанна, коли сервери втрачають зв'язок, системи керування трафіком компанії  автоматично перенаправляють користувачів на інші працездатні кінцеві точки (endpoints). Зазвичай цей механізм допомагає уникнути перебоїв через технічні несправності. Однак цього разу перенаправлення трафіку підвищило ймовірність виникнення тієї самої проблеми на решті серверів. У результаті почався каскадний збій: навантаження, яке раніше розподілялося між більшою кількістю серверів, тепер припадало на дедалі меншу їх кількість.

Менш ніж за дві години дефект поширився на всю серверну інфраструктуру мережевого шлюзу, через що сервери перестали відповідати. У найкритичніший момент недоступними були понад 80% серверів. Частина служб, зокрема Teams, OneDrive, SharePoint та програми Office, змогли переключитися на іншу інфраструктуру, тому їхню роботу вдалося відновити швидше. Водночас Exchange Online такої можливості не має.

Ламанн додав, відновлення ускладнювалося тим, що сервери після перезапуску одразу отримували накопичені запити, знову перевантажувалися та переставали відповідати. Також стандартні автоматизовані механізми відновлення компанії не були розраховані на настільки масштабний збій, коли одночасно перестає відповідати значна частина серверів. До того ж прихований дефект, який виник кілька місяців тому, не дозволив швидко усунути проблему за допомогою звичайних механізмів відкату оновлень (rollback), поетапного розгортання (flighting) і функціональних прапорців (feature flags).

Після підтвердження першопричини інженери розробили виправлення, яке повернуло програмний код до попереднього стабільного стану. Його впроваджували поступово: групи серверів виводили з експлуатації, оновлювали, перезапускали та повертали до роботи. За один етап виправлення могли охоплювати 50% і більше серверних потужностей окремого регіону.

Підсумковий звіт за результатами аналізу інциденту (Post-Incident Review, PIR) із додатковою інформацією буде опубліковано пізніше цього тижня.