12 ноября в работе Microsoft 365 произошел масштабный сбой, последствия которого пользователи испытывали больше суток. Проблемы затронули более 70 стран мира, нарушив работу корпоративных сервисов, государственных учреждений и банков. Впоследствии Чарльз Ламанна, исполнительный вице-президент Microsoft, ответственный за Copilot, ИИ-агентов и платформы, раскрыл технические причины инцидента.
- Мы искренне извиняемся перед всеми нашими клиентами за причиненные неудобства и осознаем, насколько существенно этот инцидент повлиял на их привычную работу и бизнес-процессы. Инцидент, произошедший в четверг, 12 ноября 2026 года, был вызван совокупностью трех основных факторов, которые привели к глобальному сбою сетевого шлюза, через который осуществляется доступ ко многим службам Microsoft 365, - отметил Ламанна.
Во-первых, скрытый дефект в программном коде привел к тому, что при определенных условиях нагрузки серверы перегружались и переставали отвечать на запросы. Причиной стала конкуренция за блокировку (lock contention) внутри одного из внутренних процессов, в результате чего сервер становился недоступным. Этот дефект возник в результате исправления, разработанного специально для серверов сетевого шлюза Microsoft 365.
Первые изменения в работе системы начали внедряться в июле этого года. Обновление прошло все этапы безопасного развертывания и в течение нескольких недель постепенно внедрялось во всем мире. За этот период никаких проблем не наблюдалось. Более трех месяцев обновление работало глобально без какого-либо негативного влияния на сервисы.
- Наши стандартные погрузочные тесты не обнаружили скрытую проблему из-за различий в типах трафика и конфигурациях SKU, которые использовались в тестовых средах. Проблема конкуренции за блокирование усугубляется на серверах с большим количеством ядер и более новым оборудованием, тогда как при тестировании мы преимущественно использовали менее мощные конфигурации серверов с меньшим количеством ядер, - добавил Ламанна.
Во-вторых, резкий рост нагрузки повысил вероятность возникновения этой проблемы на сетевых шлюзах. В рамках Microsoft 365 компания использует две независимые сетевые инфраструктуры шлюзов с разными техническими реализациями. Они предназначены для изоляции компонентов и высокой доступности сервисов. Благодаря этому многие службы Microsoft 365 могут переключаться между ними при сбоях или перебоях в работе.
- Приблизительно за 15 часов до начала инцидента Teams переключился с альтернативного сетевого шлюза на основной, который также обслуживает Exchange Online. Это увеличило нагрузку на основной шлюз и изменило характер сетевого трафика. Такое переключение является частью штатных операционных процессов и важным элементом стандартных механизмов обеспечения отказоустойчивости Microsoft, - отметил Ламанна.
В-третьих, одновременно почти 14% серверных мощностей сетевого шлюза были выведены из эксплуатации через другую, не связанную с этим инцидентом, возникшую накануне проблему. Планировалось, что эти серверные мощности будут возвращены к активной работе в рамках планового технического обслуживания и стандартных процедур проверки работоспособности. Общий резерв мощностей сервиса был достаточным, поэтому само по себе сокращение количества доступных серверов не повлияло на работу системы.
В совокупности увеличенная нагрузка и уменьшение доступных серверных мощностей привели к проявлению скрытого программного дефекта, появившегося еще в июле. В результате запросы начали накапливаться в очередях, пока серверы в конце концов не прекратили отвечать. Сбой произошел в период пиковой нагрузки на сеть в США.
По словам Ламанны, когда серверы теряют связь, системы управления трафиком компании автоматически перенаправляют пользователей на другие работоспособные конечные точки (endpoints). Обычно этот механизм помогает избежать перебоев из-за технических неисправностей. Однако на этот раз перенаправление трафика повысило вероятность возникновения той же проблемы на остальных серверах. В результате начался каскадный сбой: нагрузка, которая ранее распределялась между большим количеством серверов, теперь приходилась на все меньшее их число.
Менее чем за два часа дефект распространился на всю серверную инфраструктуру сетевого шлюза, из-за чего серверы перестали отвечать. В самый критический момент недоступными оказались более 80% серверов. Часть сервисов, включая Teams, OneDrive, SharePoint и приложения Office, смогла переключиться на другую инфраструктуру, поэтому их работу удалось восстановить быстрее. В то же время Exchange Online такой возможности не имеет.
Ламанна добавил, что восстановление осложнялось тем, что после перезапуска серверы сразу получали накопившиеся запросы, снова перегружались и переставали отвечать. Также стандартные автоматизированные механизмы обновления компании не были рассчитаны на столь масштабный сбой, когда одновременно перестает соответствовать значительная часть серверов. К тому же скрытый дефект, возникший несколько месяцев назад, не позволил быстро устранить проблему с помощью обычных механизмов отката обновлений (rollback), поэтапного развертывания (flighting) и функциональных флажков (feature flags).
После подтверждения первопричины инженеры разработали исправление, вернувшее программный код в предыдущее стабильное состояние. Его внедряли постепенно: группы серверов выводили из строя, обновляли, перезапускали и возвращали к работе. За один этап поправки могли охватывать 50% и более серверных мощностей отдельного региона.
Итоговый отчет по результатам анализа инцидента (Post-Incident Review, PIR) с дополнительной информацией будет опубликован позже на этой неделе.
More details on the root cause can be found in the Microsoft 365 Admin center, and an abridged version can be found below. We are deeply sorry for the impact to all our customers and recognize the impact that this has on their normal business & operations. The incident on Thursday, November 12th, 2026, was caused by three main factors that together caused a global outage for the networking gateway that fronts many Microsoft 365 services. First, a latent defect caused servers to become overwhelmed and unresponsive under certain load conditions. This was due to lock contention inside an internal process which caused the machine to become unavailable. This defect was the result of a fix that was prepared specifically for Microsoft 365 networking gateway servers; neither the underlying defect nor the fix applies to broader Windows deployments. The initial change in behavior first started deployment in July of this year. The update went through safe deployment and saturated globally over several weeks, during which time no issues were observed. For more than three months, the change was deployed worldwide without impact. Our normal load testing did not detect the latent issue because the different traffic and SKU mix used in our test labs. The contention issue is worsened on machines with more cores and newer hardware; whereas our load testing tended to focus on our weaker hardware SKUs with fewer cores. Second, a surge in load increased the likelihood for the networking gateways to encounter the contention. Within Microsoft 365, we maintain two independent and heterogenous network gateway systems designed for isolation and high availability. This allows many Microsoft 365 services to fail to/from them during outages or disruptions. Approximately fifteen hours before the outage, Teams failed over from the alternative networking gateway to the ‘primary’ gateway that also supports Exchange Online. This increased the load on the networking gateway and changed its traffic patterns. This type of failover is part of normal operations and is integral to standard Microsoft resiliency efforts. Third, at the same time, nearly 14% of server capacity for the networking gateway was out of service due to an unrelated issue from the previous day. This server capacity was on track to be returned to active service through routine maintenance and health processes. The service had sufficient capacity headroom, so the reduction in server capacity had no impact on its own. Taken together, the increased load and the reduced server capacity, caused the network gateway to encounter the latent bug from July. This caused requests to build up until servers ultimately stopped responding. This occurred during the peak window of traffic in the United States. When servers lose connectivity, our traffic management systems automatically route users to other healthy endpoints. This happens often and is critical to avoiding any interruption due to hardware, software, or network defects and is normally what makes the service resilient. However, the redirected traffic increased the likelihood for the same problem to occur on the remaining endpoints. This caused a cascading failure from server to server as the same amount of load was spread across fewer servers. In less than two hours, the previously unknown defect was encountered across our fleet and rendered them unresponsive. At its lowest, more than 80% of servers were unresponsive. Normally, the network gateway is composed of thousands of ‘capacity units’ which represent shards of capacity, hardware, and networking infrastructure. These ‘capacity units’ are then organized into regions. In this case, due to a separate issue, the normal bulkheads between these different partitions did not stop the cascading failure. This is what allowed the impact to spread across our network gateway infrastructure globally. Several services like Teams, OneDrive, SharePoint, and Office apps failed out of the faulty network gateway infrastructure. That is why those services were restored earlier, with Teams chats and meetings functioning without issue for most of the outage. But not all services, like Exchange Online, can fail out of this network gateway. Recovery took longer than usual because as servers returned to service, they were immediately overwhelmed by waiting traffic and became unresponsive again. Our normally automated recovery processes were not designed to restore service from this broad unresponsive state. Additionally, since the main code defect was a latent bug from several months previous, our normal rollback, flighting, and feature flags were unable to quickly revert the change. After engineers confirmed the defect as the cause, we developed an update that returned the code path to the previously known good state. To effectively apply this fix, and to slowly bring the service online again, we took groups of servers out of service, applied the change, and restarted them before returning them to service. This process was carefully applied to large quantities of infrastructure at a time (e.g. 50%+ of a region). The final Post-Incident Review (PIR) will provide more details later this week.
— Charles Lamanna (@clamanna) November 16, 2026