みずほ銀行を苦しめた「悪夢の記録」が異例のベストセラーになったワケ

読むだけで気が滅入るシステム統合の全貌

東日本大震災直後の悪夢

2回目のシステム障害は、東日本大震災の4日後、2011年3月15日に表面化した。

直接の原因は、3月14日の月曜日、震災義援金の振込みが集中したことにあった。口座に設定された1日当たりの受付リミットを超えたデータは、オンラインを停止したあと、夜間に一括で処理される。「電子計算機」のころ、伝票を束(batch)にして処理したことから、「バッチ処理」と称される。

当日の午後10時過ぎ、システムが異常終了(アベンド)した。バッチ処理にはリミットが設定されていたのだが、オペレータはそれを知らなかった。これが悪夢の始まりとなった。

処理の途中でアベンドしたために、データの一部が失われた。それを復旧するのに時間がかかり、さらにアベンドの原因を確認するのにも時間がかかった。未処理データは38万件にものぼったが、翌日午前6時までにバッチ処理を終了しないとオンラインを起動できない。

15日未明に報告を受けたIT担当役員が「オンライン再開を優先するように」と指示したのだが、間に合わなかった。オンラインが再開した同日午前10時25分まで、入出金・振込みの処理を行員が手作業で行った。

 

ところがその後、再開したシステムが振込み処理を実行したので、二重振込みが発生してしまう。さらに同日、携帯電話による義援金の振込みが加わった。夜間バッチは完全にオーバーフローし、6万件の積み残しが出た。15日と同様に16日もオンラインが起動できなくなり、手作業による処理がまた二重振込みを発生させることになった。

15日の夜間バッチでもオーバーフローが出たが、経営陣は今度はバッチ処理を優先するよう、現場に指示を出した。前日と一転して、オンラインの開始を遅らせる判断を示したのだ。これが、二重振り込みを増やすことになった。

バッチ処理のオーバーフローがオンラインへの切替えを困難にし、手作業による処理が二重のミスを生む。悪循環は18日金曜日まで続いた。

関連記事