EW4终于在中国iOS顺利上线了，虽然我已经被调到其他项目组，但是也经历了上线加班调试到4点的情况。所用的技术栈其实在招聘页面都有，所以不算泄密。

事故总是由看似无关紧要的小错误累积而成的。

整个系统架构上是一般的二代网游架构，大问题没啥，但是登入服务赶新潮地依赖了DynamoDB这个SLA号称在线率三个9的玩意。可是偏偏在正式上线前三天us
east1的数据中心写故障！这时IT团队试图从us east1迁到us
east2，顺利的迁移完了，结果再次中了彩票，east2也故障了！这简直是可以买彩票的节奏！！反正数据还没迁完，IT团队就再次修改了配置指向east1，由于此前迁移没有进行过演练，所有配置的更改都是手动操作的，所以有台负责处理连接的节点没有更新，埋下了祸根：这个节点不停地对登入节点上报错误的地址，但由于ELB的关系，这个错误在人工测试的阶段都没有察觉到。
这时，悄然开服的消息已经传遍了骨灰玩家圈，玩家纷纷开始登入注册。

大概是下午开始，客服陆续收到玩家投诉说丢档了！但错误收集sentry并没有报告什么异常，顿时我就纳闷了，难道是DynamoDB又出了问题？但，这次，并不是，只好继续排查代码上的问题。一波未平一波又起，之前给各个安卓运营商上线之后一直正常，但是现在某运营商那边的玩家投诉无法登入，美国上线的负责人也表示自己无法登入，这时整个团队都非常沮丧，因为错误收集系统压根就没有错误报告。IT团队开始一遍又一遍地切换DynamoDB的数据库、登入服务的配置来查错，这时已经是凌晨4点了，估计因为在线人数下降了，ELB自动分配到了一台机子上，所有人又能正常登入了。王总提出让一部分人休息，明天好继续排错，所以我回家休息了。
结果第二天来时，美国团队的人通过debug
客户端，发现本来该指向US的节点，竟然给出了中国区的服务器地址！大家顿时恍然大悟，有台机子在上报错误的地址！！于是IT团队用昨晚写好的部署程序，重新部署了所有大区服务，登入问题就都解决了。
接下来就是无法下载的问题，客户端的同事发现是更新用的服务下载到了不同的数据更新包导致的，不过所幸只是一个小国的部分用户……
这次事故，其实说实话是完全可以避免的。

• DynamoDB出故障是意外，但是我们服务器团队没有跟IT部门交代清楚配置，导致上报的密钥还是开发时的TEST_KEY是根本原因
• 服务器并没有完整的校验机制、机器人、最后线上bug还得手动测试，浪费了很多宝贵的时间
• 对于代码，各种需求变更过快、没有足够的人手做完UT，导致排查代码也花费了大量的时间
• IT团队也没有及时地做好自动化部属工作、加上2日的操劳、同事们出错也是在所难免
• 客户端团队对于数据更新包的需求也没有弄清楚就急忙开发，导致下载到了不同的数据更新包。

p.s.通过这次排查代码，我发现系统里还有不少因为加新功能而加的补丁，重构看来也是不可避免了。