Загрузить еще

В Microsoft объяснили причины сбоя Microsoft 365, который задел более 70 стран

В Microsoft объяснили причины сбоя Microsoft 365, который задел более 70 стран
Фото: Cheng Xin/Getty Images

12 ноября в работе Microsoft 365 произошел масштабный сбой, последствия которого пользователи испытывали больше суток. Проблемы затронули более 70 стран мира, нарушив работу корпоративных сервисов, государственных учреждений и банков. Впоследствии Чарльз Ламанна, исполнительный вице-президент Microsoft, ответственный за Copilot, ШИ-агентов и платформы, раскрыл технические причины инцидента.

- Мы искренне извиняемся перед всеми нашими клиентами за причиненные неудобства и осознаем, насколько существенно этот инцидент повлиял на их привычную работу и бизнес-процессы. Инцидент, произошедший в четверг, 12 ноября 2026 года, был вызван совокупностью трех основных факторов, которые привели к глобальному сбою сетевого шлюза, через который осуществляется доступ ко многим службам Microsoft 365, - отметил Ламанн.

Во-первых, скрытый дефект в программном коде привел к тому, что при определенных условиях нагрузки серверы перегружались и переставали отвечать на запросы. Причиной стала конкуренция за блокировку (lock contention) внутри одного из внутренних процессов, в результате чего сервер становился недоступным. Этот дефект возник в результате исправления, разработанного специально для серверов сетевого шлюза Microsoft 365. 

Первые изменения в работе системы начали внедряться в июле этого года. Обновление прошло все этапы безопасного развертывания и в течение нескольких недель постепенно внедрялось во всем мире. За этот период никаких проблем не наблюдалось. Более трех месяцев обновление работало глобально без какого-либо негативного влияния на сервисы.

- Наши стандартные погрузочные тесты не обнаружили скрытую проблему из-за различий в типах трафика и конфигурациях SKU, которые использовались в тестовых средах. Проблема конкуренции за блокирование усугубляется на серверах с большим количеством ядер и более новым оборудованием, тогда как при тестировании мы преимущественно использовали менее мощные конфигурации серверов с меньшим количеством ядер, - добавил он.

Во-вторых, резкий рост нагрузки повысил вероятность возникновения этой проблемы на сетевых шлюзах. В рамках Microsoft 365 компания использует две независимые сетевые инфраструктуры шлюзов с разными техническими реализациями. Они предназначены для изоляции компонентов и высокой доступности сервисов. Благодаря этому многие службы Microsoft 365 могут переключаться между ними при сбоях или перебоях в работе.

- Приблизительно за 15 часов до начала инцидента Teams переключился с альтернативного сетевого шлюза на основной, который также обслуживает Exchange Online. Это увеличило нагрузку на основной шлюз и изменило характер сетевого трафика. Такое переключение является частью штатных операционных процессов и важным элементом стандартных механизмов обеспечения отказоустойчивости Microsoft, - отметил Ламанн.

В-третьих, одновременно почти 14% серверных мощностей сетевого шлюза были выведены из эксплуатации через другую, не связанную с этим инцидентом возникшую накануне проблему. Планировалось, что эти серверные мощности будут возвращены к активной работе в рамках планового технического обслуживания и стандартным процедурам проверки работоспособности. Общий резерв мощностей сервиса был достаточным, поэтому само по себе сокращение количества доступных серверов не повлияло на работу системы.

В совокупности увеличенная нагрузка и уменьшение доступных серверных мощностей привели к проявлению скрытого программного дефекта, появившегося еще в июле. В результате запросы начали накапливаться в очередях, пока серверы в конце концов не прекратили отвечать. Сбой произошел в период пиковой нагрузки на сеть в США.

По словам Ламанны, когда серверы теряют связь, системы управления трафиком компании автоматически перенаправляют пользователей на другие работоспособные конечные точки (endpoints). Обычно этот механизм помогает избежать перебоев из-за технических неисправностей. Однако на этот раз перенаправление трафика повысило вероятность возникновения той же проблемы на остальных серверах. В результате начался каскадный сбой: нагрузка, которая ранее распределялась между большим количеством серверов, теперь приходилась на всё меньшее их число.

Менее чем за два часа дефект распространился на всю серверную инфраструктуру сетевого шлюза, из-за чего серверы перестали отвечать. В самый критический момент недоступными оказались более 80% серверов. Часть сервисов, включая Teams, OneDrive, SharePoint и приложения Office, смогла переключиться на другую инфраструктуру, поэтому их работу удалось восстановить быстрее. В то же время Exchange Online такой возможности не имеет.

Ламанн добавил, восстановление осложнялось тем, что после перезапуска серверы сразу получали накопившиеся запросы, снова перегружались и переставали отвечать. Также стандартные автоматизированные механизмы обновления компании не были рассчитаны на столь масштабный сбой, когда одновременно перестает соответствовать значительная часть серверов. К тому же скрытый дефект, возникший несколько месяцев назад, не позволил быстро устранить проблему с помощью обычных механизмов отката обновлений (rollback), поэтапного развертывания (flighting) и функциональных флажков (feature flags).

После подтверждения первопричины инженеры разработали исправление, вернувшее программный код в предыдущее стабильное состояние. Его внедряли постепенно: группы серверов выводили из строя, обновляли, перезапускали и возвращали к работе. За один этап поправки могли охватывать 50% и более серверных мощностей отдельного региона.

Итоговый отчет по результатам анализа инцидента (Post-Incident Review, PIR) с дополнительной информацией будет опубликован позже на этой неделе.