
三菱東京UFJ銀行のATMで障害発生 108
ストーリー by nabeshin
テスト漏れ 部門より
テスト漏れ 部門より
hiromichi-m 曰く、
三菱東京UFJ銀行のプレスリリースによると、5月12日にセブン銀行ATMおよび同行ATMにおいて障害が発生した。この障害は三菱東京UFJ銀行の基幹システム入れ替えに伴って発生したもので、セブン銀行ATMで旧東京三菱銀行のキャッシュカードが一部利用できなかったほか、ゆうちょ銀行や岡三証券、日興コーディアル証券などの口座への入金ができなくなっていた。両問題とも、現在では復旧している。
障害の原因はプログラムの不具合によるもので、セブン銀行ATMにからむ障害については、「三菱東京UFJ銀行とセブン銀行の間でカタカナで受け渡すべきデータを漢字で処理していた」(ITmediaの記事より)のが原因。 また、ゆうちょ銀行などにからむ障害は、「利用者が旧東京三菱銀のATMに入力した入金要求データを提携金融機関のシステムに送信する際、提携先と取り決めたデータ仕様と異なる形式の電文を送信した」(ITproの記事より)のが原因とのことだ。
う~む… (スコア:5, おもしろおかしい)
// こんなことIDで書けるかっ
復旧スピードはかなり早いといえるのでは (スコア:4, 参考になる)
9時に業務開始、障害発覚、業務停止、障害原因特定、修正、(テスト?)、緊急リリース、業務再開(11:55)
だいたい、これだけのことが間にあると思われるわけで、
漢字←→カナ変換が障害原因だとすぐにわかったというのが気になるけど、
修正による影響範囲が見えないなかでの当日リリースに踏み切ったのはかなりの判断力が要されるだろう。
適用後に重要な障害も聞かないわけで、とりあえず問題なく運用できている?ところをみると、今回のマネジメント層の判断力はかなり評価できるのでは、と思う。
Re:復旧スピードはかなり早いといえるのでは (スコア:2, 参考になる)
=-=-= The Inelegance(無粋な人) =-=-=
Re:復旧スピードはかなり早いといえるのでは (スコア:1)
これだけの規模をトラブルなしで済ます方が難しい・・・とか言っちゃいけないのか。仕事人としては。
でも
http://mainichi.jp/select/biz/news/20080513ddm008020126000c.html [mainichi.jp]
これには違和感。テストケースって理詰めで洗い出すもんじゃないの?
妖精哲学の三信
「だらしねぇ」という戒めの心、「歪みねぇ」という賛美の心、「仕方ない」という許容の心
Re:復旧スピードはかなり早いといえるのでは (スコア:5, 興味深い)
>これには違和感。テストケースって理詰めで洗い出すもんじゃないの?
自行分の機能については、仕様書ベースでのテストケース洗い出しをやって入念にレビューできるが
他行ATMへの電文についてテストするには、他行ATMの電文シミュレータを必要とする。
(通常、電文シミュレータなんてものは自行機能の正常性、リグレッション確認のために使用される1ツールとみなされ着目されないこと多し。)
今回のケースをベンダー側で予知するには、他行ATMの電文シミュレータそのもののテスト、更改が必要だったと考えられる。
もちろん理詰めで洗い出せばわかることだけど、外部との接続性についての問題になってしまうため、
開発ベンダーだけでなく銀行側でも他行データとの摺り合わせだとかテスト項目チェックをやっていくことになり、一気にコストが膨大になり現実的ではないと妄想。
現実的ではないコストを振れないので、ほんとは想像できてたけど、想像力が足りずと言い訳するしかない。
Re:復旧スピードはかなり早いといえるのでは (スコア:2, 興味深い)
結局実データで走らせてみないと分からない。
実データで走らせても、そのテスト範囲に含まれてないパターンが来たら分からない。
いつでもどこでもそんな感じ。
昔はいい加減だったからクリティカルな個人情報たっぷりの実データも
当たり前のように持ち出して試験環境に叩き込んでましたね。内緒だけど。
Re:復旧スピードはかなり早いといえるのでは (スコア:1, 参考になる)
対外のOpenは午前7時ですよ。(一部だけとは言え)5時間近く動かなかったのが早いと言うなら、昔富士銀行が全面停止したのも、回復早かったってことになっちゃいますね。
『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:3, おもしろおかしい)
「根拠はないが必ず成功する」んでしょ?
「必ず動くと信じている」だけだ。信じる理由の第一は,6000人のSEの方々が開発し,テストを繰り返してきた以上,その努力が報われて欲しいと思うからである。
なるほど。
太平洋戦争中、無謀な特攻作戦に貴重な航空兵力を投入しようとした参謀が「成算がない。無謀だ」と批判されたときに
「必死尽忠の士が空をおおって進撃するとき、何者がこれをさえぎるか!」と一喝したという話を思い出しました。
#この国はまったく変わってないんですなあ…
新しいUFJ側のシステムを捨てて古いほうの東京三菱のシステムに統合しなきゃいけない理由も結局は合併にまつわる政治問題
なわけだし。上がアホで下が苦労するってのは古今変わりませんな。
第二に,いささか大げさだが本プロジェクトには日本のIT関係者の威信がかかっていると思う
こんなこと言ってプレッシャーかけないほうが良かったですな。「必ず何かしらの不都合は起きると思うよ。そういうもんじゃん」
くらい言っとけばいざエラーが起こったときの風当たりも多少は減ったというのになあ。中の人にとってはありがた迷惑の記事だったのでは。
第三に,三菱東京UFJ銀行はITの分野においては日本有数のプロジェクトマネジメント力を持つユーザー企業である。
……これはどうかなあ。言うほどの「プロジェクトマネジメント力」を持ってなかったんじゃないの?
それこそ「記者の目」が曇ってたんじゃないのかなあ。
と、このITProのオモシロ記事にコメント欄がなかったので(ITProの中の人も「ヤバイ!こんな記事じゃ必ずツッコまれる!」と
思ったからつけなかったのかも)ここで冷やかしてみました。
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:3, 参考になる)
君がこの件のマネージャだったら、「必ず失敗します」とでもいうんですかね?
それにしても、セブンイレブンの件は、復旧は発生した午前中に終わったようですね。影響が表に出たのは残念ですが、初動のトラブルとしては、許容範囲の対応だったのではないでしょうか。
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:2, 興味深い)
先進のシステムから化石システムへの統合を余儀なくされたUFJの技術陣の心中は…。
もう少し早めに銀行再編の流れにのれば、UFJの技術力・ディテール向け商品開発力が報われる将来があったかもしれないが、歴史に「もし〜ならば」はない。
# UFJ24 万歳!! な旧UFJユーザ
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:1)
書いた通り,筆者が特定プロジェクトに言及すると必ずよくないことが起きるからだ。(以下略) 」との記述がありますね。
ネタにして笑い飛ばしたいのならば、上記文をアンカーして「自分で宣言した通りですね、プギャー」で良かった気もします。
素人感覚で言うのはアレかと思いますが、データを異なるシステム間でやり取りする場合のデータフォーマットって、6000人も
SEが居てチェックリスト作れないような物なんでしょうかねぇ・・・システム開発に携わった事が無いのでアレですが。
#メインバンクが三和銀行経由でMUFGなんですが、次の移行もグダグダな展開になりそうでイヤーン。
チェックリストはルーチンワークで威力発揮 (スコア:3, 参考になる)
>SEが居てチェックリスト作れないような物なんでしょうかねぇ・・・システム開発に携わった事が無いのでアレですが。
うん。作れない。
(でも、6000人「全員」が「そのシステム」のエキスパートだったら作れたかもしれない)
プロジェクトで使うチェックリストを「作れる人」って意外に少なくて、しかもその人が作ったチェックリストには必ず穴がある。
そして、それをレビューする人たちは、「作れる人」が作った穴に気づきにくい。
チェックリストは作らないより作ったほうがマシだけど、結局「プロジェクト」と呼ばれるものは一過性のものだから、過去の資産が殆ど使えず、良質な「チェックリスト」って作れないんだよね。
(そもそも、チェックリストってのはルーチンワーク系で本領を発揮する)
とまあここまで書いて、似たようなシステム統合をやったみずほ銀行の事例を見ると、基幹システムと外部システムの接続部分でエラー発生が多かったって書いてあって凹んだ。
過去の資産あるぢゃんorz
#まあ、あっちはどちらかというとチェックリスト云々より、中の確執の方がひどかったからなぁ……。
##それに、これは内部というより、対外だからちょっと違うか
##システム開発って難しいね
Re:チェックリストはルーチンワークで威力発揮 (スコア:1, おもしろおかしい)
チェックリスト1:内部の確執があるか。(Y/N)
対策1:まず内部的な争いを先に解決する。
備考:「それができたら苦労はない。」「俺達外注は上の命令には逆らえないのよ」「現場を知らない人間はこれだから」
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:1)
「必死尽忠の士」ではなく烏合の衆だった、という落ちでしょう。
つまり 6000 人が問題なのではなく「能力がない奴にSEの称号を与えたのが悪い」のです。
もちろん、そいつらを SE と呼んだ/呼ばせた人間の能力が低かったからであり、そのレベルを識別することなく「根拠もなく信頼した」お馬鹿さんが悪い。
えぇ、日本全土合わせても、SEと呼べる人間を 6000人も集めることはできませんよ。
# 数えてみようか?
# 私でしょ…………以上?
fjの教祖様
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:1)
fjの教祖様
Re:『6000人が作ったシステムは必ず動く』んじゃなかったんですか? (スコア:1)
実は「プロジェクトマネジナントカ」だったとか。
6000人が作ったシステムは必ず動く (スコア:2, 参考になる)
#早いもの勝ち
Re:6000人が作ったシステムは必ず動く (スコア:5, おもしろおかしい)
>筆者が特定プロジェクトに言及すると必ずよくないことが起きるからだ。6000人に迷惑をかけては申し訳ない。
>手遅れかもしれないが,これから5月の切り替え日まで,静かに成功を祈ることにする。
>すでに現場を離れた方もおられるが,6000人の皆さん,健康に注意しつつ,切り替えを乗り切って下さい。
見事だね。
Re:6000人が作ったシステムは必ず動く (スコア:3, おもしろおかしい)
他の同様の障害には全然興味もないのに、この案件だけ注視してたのは、
私ひとりではないはず。
こんな記事が書かれなければ、数多くあるシステム統合の障害ニュース
の一つとして、あまり注目されなかったのに。
Re:6000人が作ったシステムは必ず動く (スコア:2, すばらしい洞察)
起きたトラブルは大きなトラブルじゃなかったと言い張ってみる。
障害は起きたが動いたと言い張ってみる。
Re:6000人が作ったシステムは必ず動く (スコア:1)
グローバルスタンダードに照らせば大きなトラブルじゃなかったと言い張ってみる。
妖精哲学の三信
「だらしねぇ」という戒めの心、「歪みねぇ」という賛美の心、「仕方ない」という許容の心
Re:6000人が作ったシステムは必ず動く (スコア:2, 興味深い)
問題発生してから3日間もストーリーにならなかったってことは、他の人もみんな「こんなネタにニュースバリューは無い」と考えてたんだろうなーと思ってます。
三菱東京UFJ銀行のトラブルがこれで最後とは思えない。システム移行スケジュール [bk.mufg.jp]が続く限り、いつかまた第2第3のトラブルが発生するだろう。
「順次移行する」って言うと聞こえははいいけど、今回問題の起きた所はただの人柱だよなぁ。
ていうか、次に問題が起きるのは、旧UFJ店の移行が始まる7月ですかねぇ…
Re:6000人が作ったシステムは必ず動く (スコア:1, おもしろおかしい)
小さな問題から出していけばいいんですお。
必ず成功するんだから
「もし問題があった場合には問題の数だけ
預金者の残高を一桁ずつ上げます」
とか言っとけば皆、安心して預金してたのに。
# 1つ目の不具合は全預金残高が0になるというもの
Re:6000人が作ったシステムは必ず動く (スコア:1)
> 預金者の残高を一桁ずつ上げます」
それなんてKnuth先生?
Re:6000人が作ったシステムは必ず動く (スコア:1)
失敗とは [goo.ne.jp] ですね。どんなレベルだろうと、予定外のトラブルなら失敗ですね。
だから、単に「失敗があったかどうか」なんて評価するのは無意味ですね。
まあ、スルガ銀行 [srad.jp]は完璧な失敗で、みずほ銀行 [srad.jp]はかなり失敗 [jst.go.jp]してる感じ。
今回のトラブルは被害が大きくないとか早期にリカバリできたとかいった点では「たいした失敗じゃない」と思いますが、
> 残念、はずれちゃいましたね。
今回、三菱東京UFJは段階的に移行するわけで、まだまだ作業はつづきますから、
まだ「根拠はないが失敗すると思う」という予測は「はずれた」かどうかわからないでしょう。
#後年になって「一番の失敗は、UFJのシステムを捨てて東京三菱のシステムをベースにしたことだ」なんて言われるんじゃないかと思ってたり。
Re:6000人が作ったシステムは必ず動く (スコア:2, すばらしい洞察)
なんかよくわからないけど「どんなレベルであろうと、予定外のトラブルなら失敗」という基準を設けるなら、ほぼすべてのプロジェクトを失敗とみなせますから、成功、失敗の意味が限りなく薄くなってしまいますね。
さらにいうと、「どんなレベルであろうと、予定外のトラブルなら失敗」なら「オレはこのプロジェクト失敗すると思ってた」なんて「人は誰しもいずれ死ぬ」レベルのまぁ誰でもいえそうな話になっちゃって議論する意味がなくなります。
Re:6000人が作ったシステムは必ず動く (スコア:2, おもしろおかしい)
業務領域まで幅広く見ていらっしゃるプロの視点ではこうなるそうです。
安月給のITドカタどもは、耳をかっぽじってよく聞くといいですよ。 で す よ ね ー (笑)
システムが麻痺した訳じゃなくって、振り込め詐欺(オレオレ詐欺)対策で、
大口の金を扱う事が制限されているコンビニATMであっても止まったら、
命に関わる問題ですよネー、アクセンチュアだったら犯さないミスですよネー
実際、仕送りが消えた [bogusne.ws]という大惨事も発生したそうですネー
#ネタをネタと(ry
Re:6000人が作ったシステムは必ず動く (スコア:1, おもしろおかしい)
ブログもスペシャリストにレビューしてもらったら、多分今回の誤字は未然に防げたのですね、判ります。
テストは大事ですよ。ええ。
--
テスト肯定
Re:6000人が作ったシステムは必ず動く (スコア:2, おもしろおかしい)
取ってこれる人のことだと想像してみる。
Re:6000人が作ったシステムは必ず動く (スコア:1)
ついでに、結論と言うか、一番のキモの部分に、万が一、誤字があっても、短時間で解決できた訳ですね。判ります。
#さぁ…ちゃんと修正されるのは、いつになるかな?
#ま、「テスト肯定」[ママ]って書いちまった方は、誤字に気付いてさえいない可能性も有りますが。
Re:6000人が作ったシステムは必ず動く (スコア:3, 参考になる)
セブン銀行の件、午前中は抜本処置ではなく応急処置で切り抜けたみたいですね。
三菱東京UFJ銀の一部障害、直接の原因は文字コードの設定誤り
http://itpro.nikkeibp.co.jp/article/NEWS/20080512/301283/
「現在は、通帳記帳を促す案内文を送る機能を一時的にストップさせる応急処置を講じているもよう。」
そのほかの金融機関についてもう少し詳しい記事(タレこみのリンク先)
三菱東京UFJ銀のATMでゆうちょ銀などに入金できない新たなトラブル、電文仕様の不一致で
http://itpro.nikkeibp.co.jp/article/NEWS/20080512/301379/
「本誌の調べによれば、暗号化した暗証番号の復号化に問題があったもよう」
などの記述から、設計以前の情報収集に問題があったように思えます。
トラブルを起こしている相手は身内のグループ企業(泉州銀行、大正銀行、中京銀行)と証券会社、新参のゆうちょ銀行ですからね。
Re:6000人が作ったシステムは必ず動く (スコア:2, おもしろおかしい)
たしかに、なさそうだなぁ。
取材したいと申し入れても断られそうな気がする。
Re:6000人が作ったシステムは必ず動く (スコア:1, おもしろおかしい)
東京新聞より [tokyo-np.co.jp]
0.1%だったって言い切りそう
Re:6000人が作ったシステムは必ず動く (スコア:2, おもしろおかしい)
つまりUFJは(ry
ネタとして (スコア:2, すばらしい洞察)
みずほのときのように口座振替で障害が起きてたら洒落では
すまないとは思いますが。
ACですが中の人じゃありません
Re:ネタとして (スコア:1, すばらしい洞察)
障害があったのは事実としても、
さほど大した問題にはなってないよなぁ。
6000人ネタが先行してあったので、
「ほーらやっぱりトラぶったじゃねぇか!」って言いたいだけで、
取り上げているのでしょう。
Re:ネタとして (スコア:3, すばらしい洞察)
超大規模、世界最大か? っつーレベルでここまでに抑え込んだ開発チーム(と言える規模か?)は凄いでしょ。
対策の速さを考えても、万全と言ってもいい程の体勢と、結果だったと思うなぁ。
むしろ、うまくいった部分をネタにして学ぶべきことが多いのでは?
Re:ネタとして (スコア:1)
気がします。なんでだろ。
Re:ネタとして (スコア:1)
マイクロソフトを見習おう (スコア:2, すばらしい洞察)
Windowsだって公開バグフィクスみたいなものだし。
冗談はさておき、ITは複雑すぎるので100%の稼働は見込めないと思います。
ならば最初から失敗することを見通して計画すべきではないのかと思うのです。
「この日はシステム移行作業なので、断続的に振り込めたり振り込めなかったりします」とか。
Re:マイクロソフトを見習おう (スコア:2, すばらしい洞察)
それを許さないのが日本のお役所で、金融庁からのお達しだったわけですよ。
まあ、お役所というか、国民的な体質なんだろうけどね。
あらかじめリスクを通知されたほうが、自分でリスクヘッジができると考えない。
俺はリスクヘッジの手間をとりたくないから、オマエが完璧にやれよという心理。
また、「言霊の文化」というのを、井沢元彦さんが著書で幾度となく指摘しています。
「かく言えばかくなる」という発想で、オマエが「負ける」と言わなければ勝てた、と。
殆ど生死なんか決定した状況においても、「犠牲者」とか「遺族」とか言うとクレームがくる。
(立場によって言ってはいけない人もいて、状況もあるでしょうけど)
事象が発生する前に、あらかじめ注意を喚起すると「成功させる気が無い」とか
「組織として恥ずかしい」として叱責されてしまう背景があるわけですね。
呪術的精神的な根拠を持ち出してしまうのは、神風により元寇を破った成功体験でしょうか(笑)
#個人的には、神仏を畏れるというのは、悪く無い事だと思いますけども、
#ならばいっそ神頼みという楽観的な態度を持ち合わせたいものです。
テストにお付き合い (スコア:1, 興味深い)
もちろん、一義的には三菱東京UFJ内部でテストすべきこととは思いますが…。
テスト申し出OKのところは実運用でもOKで、NGのところは実運用でもNGだった、だったのかなぁ?
# だとしても、ひたすら詫びるしかないんだろうなぁ。
Re:テストにお付き合い (スコア:1)
実は忙しくてまともに相手してもらえなかったとか。
郵貯→民営化でそれどころじゃない。
セブン→ナナコ立上げと対応金融機関拡張でそれどころじゃない。
他は?
Re:テストにお付き合い (スコア:2, 興味深い)
セブン銀行側が負担するっていう、変な慣行
Re:テストにお付き合い (スコア:2, 参考になる)
運用テストのお願いをしたはずだし。
そういう意味では文字通り慣行なんでしょうね
100万回のテスト (スコア:1)
他にも郵貯銀行との接続がうまくいかなかったという不具合もあるし。
実は仕様書が残っていなかったとか。
「提携先と取り決めたデータ仕様」 (スコア:1)
n行あれば、n*(n-1)通りの取り決めがあるということなのでしょうか?
トラブル出て当たり前な気もしますが。
「統合ATM」などという言葉も聞いたことありますが。
誰か教えて。
Re:「提携先と取り決めたデータ仕様」 (スコア:1)
多分適当な電文に対してその場でパッチとかやって、強引に対応してきたツケなんでしょうね。
しかし、いつも気になるのが電文フォーマットが異常なんでシステム停止という話。
入力データをチェックして、整合性がとれないものはリジェクトするとかできないもんなんですかね。
そうすれば全体が止まるようなことはいはずだと思うんですが。
と、6000人もSEがいたんだからそれぐらい誰かが考えるとして、そういう実装ができない何かがあるんでしょうねぇ。
Re:「提携先と取り決めたデータ仕様」 (スコア:2, 興味深い)
銀行では仕様変更ほど大変な仕事はありません。
一つの機能修正を説明する為に影響範囲を洗いざらい調べて、大量の資料を用意して、納得させる事が出来なかったら、納得するための資料をまた大量に作って。(ここまで約2ヶ月)
そして、直すコードは2行とか。
#銀行では歴史が一番信頼できるんですorz
#きっと、空飛ぶスパゲッティが知的デザインという裁きを下したんですよ。
#元、中の人だったので、AC
Re:開発ベンダーってどこ? (スコア:1)
http://ja.wikipedia.org/wiki/%E4%B8%89%E8%8F%B1%E6%9D%B1%E4%BA%ACUFJ%E... [wikipedia.org]