上周微软365遭遇史诗级大宕机,海量用户根本发不出也收不了邮件。公司现在终于承认,最严重的时候,超过80%的服务器直接无响应。
微软这才把来龙去脉说清楚,原来引发故障的错误早在7月就埋下了,却一直没被发现……
公司当时坚称这只是技术问题,不是网络攻击,并表示正在全力修复,同时承认耗时远超预期。微软还明确否认,这次事故跟上个月宣布的数千人裁员有任何关系。
用户对宕机规模和漫长修复时间自然气得不行,不过表情包创作者们倒是玩得很嗨。
微软的解释——两大因素叠加
平台负责人查尔斯·拉曼纳承认问题确实严重。
不到两小时,这个之前完全未知的缺陷就在整个服务器集群中爆发,直接把它们打到无响应。最低谷时,超过80%的服务器全挂了。
他说这是两个问题叠加造成的。公司本来维护着两套独立的网络网关系统,其中一套突然故障,剩下那套就得扛下全部流量。单独这点其实没问题,微软表示每套网关都有足够容量处理全部流量。然而,7月埋下的一个错误,最终引发了级联崩溃。
一个潜伏缺陷导致服务器在特定负载下被直接压垮,变得无响应。原因是内部进程出现锁争用,机器就此不可用。这个缺陷,来自专门为微软365网络网关服务器准备的一次修复[…]
行为变更的初始版本今年7月开始部署。更新走了安全发布流程,并在数周内全球铺开,期间没发现任何问题。超过三个月,这个变更在全球运行都没出过事。我们常规的负载测试没能抓住这个潜伏问题,因为测试实验室里的流量和SKU组合跟线上不一样。争用问题在核心更多、硬件更新的机器上会严重得多;而我们的负载测试,偏偏更偏向核心较少的较弱硬件SKU。
换句话说,这个更新根本没在最容易翻车的条件下测试过。



















