NatWest Bank IT Failure
Moodle fallback video: NatWest Bank IT Failure
补充来源：Bank of England enforcement notice
Moodle 原链接已失效并提供此 YouTube 备用视频；视频没有可用字幕。以下笔记以视频主题为入口，并用监管材料核对事件事实。
事件背景
2012 年 RBS Group 对处理 NatWest 与 Ulster Bank 账户更新的 batch scheduler software 进行升级。升级与后续 back-out 过程中出现兼容性和 batch processing 问题，导致付款、余额和账户更新长期积压，数百万客户无法正常使用关键银行服务。
Reliability 视角
- Batch scheduler 表面上是后台组件，实际上位于 core banking critical path。
- 一次 routine change 因系统依赖、恢复能力和 operational control 不足而放大。
- 客户不只遇到“网页打不开”，还可能收不到工资、无法付款、承担费用或遭遇信用影响。
- 监管结论强调：根本问题不仅是 technical fault，也包括没有充分识别和管理 IT risk 的 systems and controls。
Control mapping
| 失效点 | 应有控制 |
|---|---|
| 关键 scheduler 变更 | dependency analysis、compatibility testing、representative batch rehearsal |
| Back-out 过程 | tested rollback、完整 configuration backup、dual control |
| 积压扩大 | batch health monitoring、processing lag threshold、自动 escalation |
| 单点影响多品牌 | segmentation、isolation、reduced blast radius |
| 客户受损 | 及时且诚实的 status communication、manual service continuity、compensation path |
IE project 应用
- 识别看似“后台”但会阻塞整个用户流程的组件。
- 为数据 pipeline 定义 freshness、completeness 与 processing-lag 指标。
- 在部署前演练 rollback，而不是只写 rollback plan。
- 设计 partial failure 与 backlog recovery。
- 让 incident communication 与 technical recovery 同时启动。