The Epic Meltdown of TSB Bank
Case Study: The Epic Meltdown of TSB Bank
事件概览
TSB 从 Lloyds Banking Group 的系统迁移到 Sabadell 的 Proteo4UK。2018 年 4 月，银行宣布 5.4 million customers 已成功迁移，但切换后数小时系统崩溃，最多约 1.9 million online/mobile customers 无法访问账户。客户还报告余额异常、mortgage account 消失或重复、卡片失效，以及看到其他人的账户信息。
失败链
- Scope mismatch：Proteo 曾用于较小的西班牙银行，但 TSB 的 legacy ecosystem 更大、更复杂。
- Knowledge gap：目标团队并不完全控制或理解由 LBG 提供的 source system。
- Schedule and cost pressure：已多次延期，继续延期会增加巨额旧系统费用。
- Testing gap：trial migration、functional、UAT 与尤其 performance testing 不足。
- Risk governance failure：go-live criteria、risk policy 与 go/no-go discipline 不够强。
- Recovery weakness：未能通过可靠 rollback 或 phased migration 控制 blast radius。
- Communication failure：早期对外宣称系统正常，与客户实际体验不一致，进一步损害信任。
可靠迁移的最低控制
| 阶段 | 关键控制 | 证据 |
|---|---|---|
| Before | 完整 dependency map、trial migration、full-scale data、security controls | rehearsal report、defect closure、capacity result |
| Go / No-Go | 预先定义不可妥协的 acceptance criteria | 签署决定、未通过项与 risk owner |
| Cutover | hour-by-hour runbook、明确角色、monitoring | 实时 checkpoint、error budget、decision log |
| Recovery | tested rollback、backup、parallel or phased option | recovery rehearsal 与最大可接受中断时间 |
| After | customer communication、incident review、compensation | status history、RCA、改进 owner |
FIT5120 IE project 应用
- 不把 staging 成功直接等同于 production readiness。
- 对 external API、dataset 和 deployment environment 做 change-point testing。
- 为 demo / release 定义 go/no-go checklist 和 rollback path。
- 把 schedule pressure 与 residual risk 明确呈现给 stakeholders。
- 让 non-technical users 参与 UAT，同时补充 performance 和 integration evidence。