東京証券取引所のシステム障害はIPアドレスの重複が原因 63
ストーリー by hylom
初歩的なミスか 部門より
初歩的なミスか 部門より
takac曰く、
10月9日に東京証券取引所（東証）でシステム障害が発生したが（過去記事）、障害の発端は設定ミスによるIPアドレスの重複だったようだ（日経新聞、ITmedia、日本取引所グループの発表）。
この障害はメリルリンチ証券からの「大量の電文」が短時間農地に送信されたのが原因だが、同社の仮想サーバー2台が同じIPアドレスを使用し、かつ2台が同時に東証のゲートウェイに対し接続を試みたためにTCP接続の不整合が発生して大量の再送要求が発生したという。
短時間農地 (スコア:1)
「二重IPアドレス同時大量送信攻撃」という手法なのでしょうか。
同社の仮想サーバー2台が同じIPアドレスを使用し、かつ2台が同時に東証のゲートウェイに対し接続を試みたためにTCP接続の不整合が発生
Multiplex transmission attack from the same IP address.
同じIPアドレスのマシンをLANの中で立ち上げたらエラー出なかったっけ。
エラーが出てたけど気にしないで接続しに行った。
のか
取引で接続する毎に仮想マシンを立ち上げていたけど、同じ設定でもう一台立ち上げてしまってた。
のか
Re:短時間農地 (スコア:2)
帰ってくるack seqが違うからackを全部捨てちゃんですね。
エッジルータはarpがコロコロ変わるのに文句言わなかったのかなぁ。
Re:短時間農地 (スコア:1)
攻撃を避ける為、私のアドレス192.168.0.1を使わないようお願いします。
# 127.0.0.1を使わn(ry
Re:短時間農地 (スコア:1)
予備サーバ作ろうとして、本番サーバのクローンを作った後、
NIC接続したままで立ち上げてしまった、に一票。
Re: (スコア:0)
コールドスタンバイさせようと思ってたら立ち上げちゃったんでしょうね
Re:短時間農地 (スコア:1)
マシン移設するときとかに、落とす前にIPやドメイン設定変えるの忘れてると。
Single bootしてスタンドアローンで変更作業をやるけど、それをすっ飛ばした感じなんすかね。
#仮想マシンだとまた違いそうだけど、VMはあんまり触ったことがなかった。
Re:短時間農地 (スコア:1)
こういう「作業」を行うときは、初心に戻って
面倒くさくても手順書兼チェックシートを作るのが重要だと
昔の職場で思い知らされた。
実際、重要インフラに係わる作業は手順書を上司がチェックして
足りないところがあると承認してくれなかった。
Re:短時間農地 (スコア:1)
Re:短時間農地 (スコア:1)
グローバルIPだから（？）運悪く通っちゃったんじゃないかな
・サーバーを増強しようとして同じ設定のものをつくってしまった
・東証側も設置するサーバーの設定を事前に申請してもらってチェックしてるけど
バックアップで同じIPがありうるから見逃してた
・テストのときはもう一方は落としてたから発覚しなかった
# という記事を見たような気がするけどどこだかわからなくなった
Re: (スコア:0)
たった2台のマシンがおかしな挙動をしただけで沈んでしまった
この「接続装置1号機」のスペックを知りたいですね。いったい
どんなしょぼい性能なんでしょう。Z80 4MHz とかですか? それ
とも回線のほうが耐えきれなかったのでしょうか?
報道発表を見ると DoS 並の攻撃 (攻撃ではないのですが) を
受けて止まってしまったかのように読めてしまうのですが、
相手はたったの2台ですよ。2 対 1 で負けるのですか? 誇大
報道じゃないですか? 他に隠していることがあるんじゃない
ですか?
もしかして Multiplex transmission attack from the same
IP address って超弩級の魔術だったりするのかな?
ほんの数台で Google 先生とかを倒せたりするのかな?
Re:短時間農地 (スコア:1)
だよ？
ルーティング上どっちに行くかわからんから
A端末と接続したはずなのにB端末に行ってTCPなんで受信確認来ないので再送を延々と繰り返すので普通に落ちますよ
LANだったら今時検知して止まりますけどWANだし。
きっちりネットワーク設計やってればネットワーク上に居ても問題はないけどこれ重複させる側の設計になるんで東証関係ないし。
Aとの通信、Bとの通信でわからんことになって回線内を流れるパケットの数が増えていって落ちるんで
たかが二台とかスペックの問題じゃないよ
インターネットは性善説の上に出来ているんだ
Re: (スコア:0)
いやそれ勝手にでっち上げた攻撃もどきの名前でしょ
Re: (スコア:0)
アプリケーション層のプロトコル設計が糞だったという話でしょ？
なんでも起こりえる。
Re: (スコア:0)
いや通信層だろ
アプリまで上がってないよ
単にコネクト失敗になってただろう
あそうか。 (スコア:1)
同じセグメント内ならOSがarpとかで自己停止してくれるけど、
グローバルでIPアドレス重複してたらそのまま誤動作DoS攻撃になるんだ。
普通の個人isp（PPPoEとかIPoEとか半固定とか）ならまず起こり得ないけど、
これって意外なDoS攻撃手段の１つにならない？
Re:あそうか。 (スコア:1)
ならない。
ISPがルーティングしないと疎通できないから、WAN上での重複は意味が無い。
1か所のユーザー宅内で重複させたいんならご自由にどうぞ。
SYNでもなんでも、普通じゃないパケット送る程度のことなら、
わざわざアドレス重複なんかさせなくてもPF_PACKETでソケット開いて書けばいいだけの話。
Re: (スコア:0)
でもグローバルIPって同じネットワークアドレス配下じゃないと重複しないから
故意過失いずれも、管理が及ばない外部から攻撃orやらかすってのも難しいような
v6に到ってはクライアントなら重複させる事も難しい
ちょっと前にも起こった記憶が… (スコア:0)
そろそろ株式市場にも、大きな波が押し寄せるかもしれないね。
今後も多分、同じようなこと(障害等)は起こり得ると思うよ…。
電文 (スコア:0)
なぜ各社示し合わせたように電文と書くのだろう。
素直にパケットと言えばいいのに。電文警察でもいるのか?
Re:電文 (スコア:1)
送りたいのは電文であって，その一つの電文が複数のパケットに分割されて送られる。
アプリケーション層（電文）の話をしているのに，ネットワーク層の用語（パケット）を使う方がおかしいと思う。
Re: (スコア:0)
なぜアプリケーション層だと思った???
ipアドレスの重複にtcp接続の不整合ってんだからネットワーク層だろ
Re: (スコア:0)
50%の確率でパケットを受信できるか、全然できないかのどちらかで済む。
DOS攻撃まがいの悪影響がネットワーク全体に及ぶこととは通常ありえなく、
アプリケーション層で何か能動的に被害を拡大していると考えるのが自然。
Re:電文 (スコア:3, 参考になる)
重複によってAからの行きのパケットの戻りがA’になるとかしてSYN flood攻撃状態になったんでしょ。
証券取引所をハブにしたハブアンドスポーク構造だから、ハブがネットワーク的に疎通できなくなったらそりゃ全体が止まる。
Re: (スコア:0)
ブロードキャストストームみたいな感じなんだろうか？
IPSとかで防げそうだけど、万一正規の注文をブロックしたら損害賠償ものだから、
セキュリティは最低限にしてるのかな。
Re: (スコア:0)
IPSとか入れたら遅延の元だから……みたいなパターンは有るかも。
Re: (スコア:0)
ブロードキャストストームはそれこそ同じルーターセグメントにいないとできませんよ旦那
Re: (スコア:0)
Re: (スコア:0)
いまどきSYN floodに対応してないOSとかあらへんやろー。教科書の中でしかお目にかかれない攻撃手法じゃね？
つかTCP/IPが通信相手のアドレスが重複していただけでぶっ壊れるようなプロトコルだったら、世の中もっと大変なことになってる気がするんだが。
LAN環境なんかだとよく起こることだし平気だろ？
Re:電文 (スコア:1)
SYN floodに完全に耐えられるOSなんて存在しませんよ。
例えばLinuxカーネルでは、年々扱えるパケット量が上昇しているものの、2016年のLinux 4.7時点で6Mbbps (パケット毎秒) 程度までしか耐えられません。
https://kernelnewbies.org/Linux_4.7 [kernelnewbies.org]
> Improve even more the resistance to synflood (performance under synflood goes from 3.2 Mpps to 6 Mpps)
Re: (スコア:0)
「悪影響がネットワーク全体に及ぶ」って具体的に何の話？
Re:電文 (スコア:2)
他の会社が取引できなかったりしたことを指してるんでしょう
そこは事実であり合ってると思います
Re: (スコア:0)
接続装置1号機の負荷が高まって安全機構が働き、その先のゲートウェイサーバ1号機も機能を停止しただけで、
他の接続装置・ゲートウェイサーバは正常に稼働している状況で、「悪影響がネットワーク全体に及ぶ」とはどういう意味でしょうか？
Re:電文 (スコア:2)
1号機を使ってる別の会社も使えなくなってますからな
他者に及ぶぐらいの意でしょう
インターネット全体な訳ゃないんですし
Re:電文 (スコア:2)
> たかがIPアドレスが重複しても困るのはそのノードだけで
> 50%の確率でパケットを受信できるか、全然できないかのどちらかで済む。
> DOS攻撃まがいの悪影響がネットワーク全体に及ぶこととは通常ありえなく、
> アプリケーション層で何か能動的に被害を拡大していると考えるのが自然。
コメント全体の物凄さに比べると「ネットワーク全体」と言う部分の表現は比較的妥当に思えたのでついフォロー入れてしまいました
でもやっぱおかしいっすねすんません
Re: (スコア:0)
TCPのコネクト時の動作についてよく知らないということはわかりましたので、
それぐらいにしておいた方が…
Re: (スコア:0)
「短時間で大量の再送要求電文が発生」をどう解釈すればアプリケーション層の話になるんですかね？
Re: (スコア:0)
福沢諭吉の偉大さのわからない日本人が増えて嘆かわしい
Re: (スコア:0)
パケットと書くと、携帯電話のデータ通信を想像してしまうから、とか？
Re: (スコア:0)
結構通信ものの研究論文でも電文と書くけどな
でんでんこうしゃ系や電気通信事業者とかが好きだよね
舶来IETFぐらいじゃないかな電文て使わないの
UDP＝万能電文手順？
Re:電文 (スコア:1)
恥ずかしながら「万能」で'U'始まりはなんだろう？
Universal Datagram Protocol ?
G先生に聞いたところ、omnipotentとかversatileとかall-purposeをお教えいただきましたけど、U 始まりは短時間では見つけられませんでした。
これで東証が処分者出してるのは可哀そうなような (スコア:0)
社長が減給一月10％
IT部門部長が厳重注意
IPバッティングやらかしたのメリルリンチだし
冗長系用意していたのに切り替えできなかったの証券会社側だし
顧客がやらかしたのとばっちり受けてるような
Re:これで東証が処分者出してるのは可哀そうなような (スコア:2)
今回は攻撃ではなかったんですが、攻撃に対して無策だったことが明らかになりました。
// 社長の職務で最も重要なことは責任を取ることと会社を畳むこと
Re:これで東証が処分者出してるのは可哀そうなような (スコア:1)
東証「責任はうちにない上に従業員の給与まで減らせる。これはもう丸儲けと言っていいのではないだろうか。」
Re: (スコア:0)
IPアドレス決め打ちで全幅の信頼を置くようなシステムだったんでしょ。単純なDoS対策も遅延の原因になるからそこを嫌ったんだと思うけど、やっぱりエラー検出くらいはできないとマズいっていう反省じゃない？
今まで動いていたものが動かなくなった原因が「2台の同IPアドレス別マシン」であるのは確かなんだろうけど、それで落ちてもしょうがないってくらいの瑕疵かは検討の余地がある、というか。
Re: (スコア:0)
東証「当社が証券会社に示している接続条件書において、同一 IP アドレス・ポート番号の仮想サーバーは同時接続することができないと記載しています。」
Re: (スコア:0)
社長のはメリルリンチ相手に強気に出れない自分への懲罰でしょう
IPアドレス重複がだめなら (スコア:0)
1つの仮想サーバーでアプリを2つ立ち上げて、同時に接続を試みたらどうなるの？
Re:IPアドレス重複がだめなら (スコア:2)
違うhw(macアドレス)に同じipアドレスがつくとややこしいことになる
今回の問題はコレ
同じマシンに2個立つ分には問題ない
そういうとき接続先は接続元をどうやって見分けるかというと接続元のポート番号ですね
接続元のポート番号は普通空いてるところから適切に割り振られるのでぶつかったりしないのです
Re:IPアドレス重複がだめなら (スコア:2)
macも同じかもしれんじゃないか、って事ですか?
その通りですね
まぁ話を簡単にしたく そこはてテキトウこきました
固定IP振るの、そろそろやめようよ・・・ (スコア:0)
お前IPv6でもやる気か？と。