パスワードを忘れた? アカウント作成
13752908 story
インターネット

東京証券取引所のシステム障害はIPアドレスの重複が原因 63

ストーリー by hylom
初歩的なミスか 部門より
takac曰く、

10月9日に東京証券取引所(東証)でシステム障害が発生したが(過去記事)、障害の発端は設定ミスによるIPアドレスの重複だったようだ(日経新聞ITmedia日本取引所グループの発表)。

この障害はメリルリンチ証券からの「大量の電文」が短時間農地に送信されたのが原因だが、同社の仮想サーバー2台が同じIPアドレスを使用し、かつ2台が同時に東証のゲートウェイに対し接続を試みたためにTCP接続の不整合が発生して大量の再送要求が発生したという。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by nemui4 (20313) on 2018年10月25日 15時35分 (#3504298) 日記

    「二重IPアドレス同時大量送信攻撃」という手法なのでしょうか。

    同社の仮想サーバー2台が同じIPアドレスを使用し、かつ2台が同時に東証のゲートウェイに対し接続を試みたためにTCP接続の不整合が発生

    Multiplex transmission attack from the same IP address.

    同じIPアドレスのマシンをLANの中で立ち上げたらエラー出なかったっけ。
    エラーが出てたけど気にしないで接続しに行った。
    のか
    取引で接続する毎に仮想マシンを立ち上げていたけど、同じ設定でもう一台立ち上げてしまってた。
    のか

    • by manmos (29892) on 2018年10月25日 19時27分 (#3504485) 日記

      帰ってくるack seqが違うからackを全部捨てちゃんですね。

      エッジルータはarpがコロコロ変わるのに文句言わなかったのかなぁ。

      親コメント
    • by Anonymous Coward on 2018年10月25日 15時42分 (#3504304)

      攻撃を避ける為、私のアドレス192.168.0.1を使わないようお願いします。

      # 127.0.0.1を使わn(ry

      親コメント
    • by Anonymous Coward on 2018年10月25日 15時46分 (#3504306)

      予備サーバ作ろうとして、本番サーバのクローンを作った後、
      NIC接続したままで立ち上げてしまった、に一票。

      親コメント
      • by Anonymous Coward

        コールドスタンバイさせようと思ってたら立ち上げちゃったんでしょうね

        • by nemui4 (20313) on 2018年10月25日 16時37分 (#3504344) 日記

          マシン移設するときとかに、落とす前にIPやドメイン設定変えるの忘れてると。
          Single bootしてスタンドアローンで変更作業をやるけど、それをすっ飛ばした感じなんすかね。
          #仮想マシンだとまた違いそうだけど、VMはあんまり触ったことがなかった。

          親コメント
          • by Anonymous Coward on 2018年10月25日 17時27分 (#3504382)

            こういう「作業」を行うときは、初心に戻って
            面倒くさくても手順書兼チェックシートを作るのが重要だと
            昔の職場で思い知らされた。

            実際、重要インフラに係わる作業は手順書を上司がチェックして
            足りないところがあると承認してくれなかった。

            親コメント
    • 流石hylom、部門名とかけるとは中々小癪な。
      親コメント
    • by Anonymous Coward on 2018年10月25日 15時57分 (#3504315)

      グローバルIPだから(?)運悪く通っちゃったんじゃないかな

      ・サーバーを増強しようとして同じ設定のものをつくってしまった
      ・東証側も設置するサーバーの設定を事前に申請してもらってチェックしてるけど
       バックアップで同じIPがありうるから見逃してた
      ・テストのときはもう一方は落としてたから発覚しなかった

      # という記事を見たような気がするけどどこだかわからなくなった

      親コメント
    • by Anonymous Coward

      たった2台のマシンがおかしな挙動をしただけで沈んでしまった
      この「接続装置1号機」のスペックを知りたいですね。いったい
      どんなしょぼい性能なんでしょう。Z80 4MHz とかですか? それ
      とも回線のほうが耐えきれなかったのでしょうか?

      報道発表を見ると DoS 並の攻撃 (攻撃ではないのですが) を
      受けて止まってしまったかのように読めてしまうのですが、
      相手はたったの2台ですよ。2 対 1 で負けるのですか? 誇大
      報道じゃないですか? 他に隠していることがあるんじゃない
      ですか?

      もしかして Multiplex transmission attack from the same
      IP address って超弩級の魔術だったりするのかな?
      ほんの数台で Google 先生とかを倒せたりするのかな?

      • by Anonymous Coward on 2018年10月25日 18時22分 (#3504426)

        だよ?
        ルーティング上どっちに行くかわからんから
        A端末と接続したはずなのにB端末に行ってTCPなんで受信確認来ないので再送を延々と繰り返すので普通に落ちますよ
        LANだったら今時検知して止まりますけどWANだし。
        きっちりネットワーク設計やってればネットワーク上に居ても問題はないけどこれ重複させる側の設計になるんで東証関係ないし。

        Aとの通信、Bとの通信でわからんことになって回線内を流れるパケットの数が増えていって落ちるんで
        たかが二台とかスペックの問題じゃないよ
        インターネットは性善説の上に出来ているんだ

        親コメント
      • by Anonymous Coward

        いやそれ勝手にでっち上げた攻撃もどきの名前でしょ

      • by Anonymous Coward

        アプリケーション層のプロトコル設計が糞だったという話でしょ?
        なんでも起こりえる。

        • by Anonymous Coward

          いや通信層だろ
          アプリまで上がってないよ
          単にコネクト失敗になってただろう

  • by Anonymous Coward on 2018年10月25日 19時46分 (#3504499)

    同じセグメント内ならOSがarpとかで自己停止してくれるけど、
    グローバルでIPアドレス重複してたらそのまま誤動作DoS攻撃になるんだ。

    普通の個人isp(PPPoEとかIPoEとか半固定とか)ならまず起こり得ないけど、

    これって意外なDoS攻撃手段の1つにならない?

    • by Anonymous Coward on 2018年10月25日 20時49分 (#3504541)

      ならない。

      ISPがルーティングしないと疎通できないから、WAN上での重複は意味が無い。
      1か所のユーザー宅内で重複させたいんならご自由にどうぞ。
      SYNでもなんでも、普通じゃないパケット送る程度のことなら、
      わざわざアドレス重複なんかさせなくてもPF_PACKETでソケット開いて書けばいいだけの話。

      親コメント
    • by Anonymous Coward

      でもグローバルIPって同じネットワークアドレス配下じゃないと重複しないから
      故意過失いずれも、管理が及ばない外部から攻撃orやらかすってのも難しいような

      v6に到ってはクライアントなら重複させる事も難しい

  • by Anonymous Coward on 2018年10月25日 15時53分 (#3504311)

    そろそろ株式市場にも、大きな波が押し寄せるかもしれないね。
    今後も多分、同じようなこと(障害等)は起こり得ると思うよ…。

  • by Anonymous Coward on 2018年10月25日 16時47分 (#3504350)

    なぜ各社示し合わせたように電文と書くのだろう。
    素直にパケットと言えばいいのに。電文警察でもいるのか?

    • by Anonymous Coward on 2018年10月25日 17時29分 (#3504384)

      送りたいのは電文であって,その一つの電文が複数のパケットに分割されて送られる。

      アプリケーション層(電文)の話をしているのに,ネットワーク層の用語(パケット)を使う方がおかしいと思う。

      親コメント
      • by Anonymous Coward

        なぜアプリケーション層だと思った???
        ipアドレスの重複にtcp接続の不整合ってんだからネットワーク層だろ

        • by Anonymous Coward
          たかがIPアドレスが重複しても困るのはそのノードだけで
          50%の確率でパケットを受信できるか、全然できないかのどちらかで済む。
          DOS攻撃まがいの悪影響がネットワーク全体に及ぶこととは通常ありえなく、
          アプリケーション層で何か能動的に被害を拡大していると考えるのが自然。
          • Re:電文 (スコア:3, 参考になる)

            by Anonymous Coward on 2018年10月25日 18時42分 (#3504435)

            重複によってAからの行きのパケットの戻りがA’になるとかしてSYN flood攻撃状態になったんでしょ。
            証券取引所をハブにしたハブアンドスポーク構造だから、ハブがネットワーク的に疎通できなくなったらそりゃ全体が止まる。

            親コメント
            • by Anonymous Coward

              ブロードキャストストームみたいな感じなんだろうか?

              IPSとかで防げそうだけど、万一正規の注文をブロックしたら損害賠償ものだから、
              セキュリティは最低限にしてるのかな。

              • by Anonymous Coward

                IPSとか入れたら遅延の元だから……みたいなパターンは有るかも。

              • by Anonymous Coward

                ブロードキャストストームはそれこそ同じルーターセグメントにいないとできませんよ旦那

            • by Anonymous Coward
              それにしても再送間隔は2倍2倍で増えてくから攻撃にはならんでしょ
            • by Anonymous Coward

              いまどきSYN floodに対応してないOSとかあらへんやろー。教科書の中でしかお目にかかれない攻撃手法じゃね?
              つかTCP/IPが通信相手のアドレスが重複していただけでぶっ壊れるようなプロトコルだったら、世の中もっと大変なことになってる気がするんだが。
              LAN環境なんかだとよく起こることだし平気だろ?

              • by Anonymous Coward on 2018年10月26日 15時13分 (#3504916)

                SYN floodに完全に耐えられるOSなんて存在しませんよ。
                例えばLinuxカーネルでは、年々扱えるパケット量が上昇しているものの、2016年のLinux 4.7時点で6Mbbps (パケット毎秒) 程度までしか耐えられません。

                https://kernelnewbies.org/Linux_4.7 [kernelnewbies.org]
                > Improve even more the resistance to synflood (performance under synflood goes from 3.2 Mpps to 6 Mpps)

                親コメント
          • by Anonymous Coward

            「悪影響がネットワーク全体に及ぶ」って具体的に何の話?

            • by nnnhhh (47970) on 2018年10月25日 19時29分 (#3504486) 日記

              他の会社が取引できなかったりしたことを指してるんでしょう
              そこは事実であり合ってると思います

              親コメント
              • by Anonymous Coward

                接続装置1号機の負荷が高まって安全機構が働き、その先のゲートウェイサーバ1号機も機能を停止しただけで、
                他の接続装置・ゲートウェイサーバは正常に稼働している状況で、「悪影響がネットワーク全体に及ぶ」とはどういう意味でしょうか?

              • by nnnhhh (47970) on 2018年10月26日 2時05分 (#3504665) 日記

                1号機を使ってる別の会社も使えなくなってますからな
                他者に及ぶぐらいの意でしょう
                インターネット全体な訳ゃないんですし

                親コメント
              • by nnnhhh (47970) on 2018年10月26日 11時36分 (#3504787) 日記

                > たかがIPアドレスが重複しても困るのはそのノードだけで
                > 50%の確率でパケットを受信できるか、全然できないかのどちらかで済む。
                > DOS攻撃まがいの悪影響がネットワーク全体に及ぶこととは通常ありえなく、
                > アプリケーション層で何か能動的に被害を拡大していると考えるのが自然。

                コメント全体の物凄さに比べると「ネットワーク全体」と言う部分の表現は比較的妥当に思えたのでついフォロー入れてしまいました
                でもやっぱおかしいっすねすんません

                親コメント
          • by Anonymous Coward

            TCPのコネクト時の動作についてよく知らないということはわかりましたので、
            それぐらいにしておいた方が…

      • by Anonymous Coward

        「短時間で大量の再送要求電文が発生」をどう解釈すればアプリケーション層の話になるんですかね?

    • by Anonymous Coward

      福沢諭吉の偉大さのわからない日本人が増えて嘆かわしい

    • by Anonymous Coward

      パケットと書くと、携帯電話のデータ通信を想像してしまうから、とか?

    • by Anonymous Coward

      結構通信ものの研究論文でも電文と書くけどな
      でんでんこうしゃ系や電気通信事業者とかが好きだよね
      舶来IETFぐらいじゃないかな電文て使わないの

      UDP=万能電文手順?

      • by acountname (43053) on 2018年10月26日 11時42分 (#3504794) 日記

        恥ずかしながら「万能」で'U'始まりはなんだろう?
        Universal Datagram Protocol ?

        G先生に聞いたところ、omnipotentとかversatileとかall-purposeをお教えいただきましたけど、U 始まりは短時間では見つけられませんでした。

        親コメント
  • by Anonymous Coward on 2018年10月25日 19時06分 (#3504464)

    社長が減給一月10%
    IT部門部長が厳重注意

    IPバッティングやらかしたのメリルリンチだし
    冗長系用意していたのに切り替えできなかったの証券会社側だし
    顧客がやらかしたのとばっちり受けてるような

    • 今回は攻撃ではなかったんですが、攻撃に対して無策だったことが明らかになりました。

      // 社長の職務で最も重要なことは責任を取ることと会社を畳むこと

      親コメント
    • 東証「責任はうちにない上に従業員の給与まで減らせる。これはもう丸儲けと言っていいのではないだろうか。」

      親コメント
    • by Anonymous Coward

      IPアドレス決め打ちで全幅の信頼を置くようなシステムだったんでしょ。単純なDoS対策も遅延の原因になるからそこを嫌ったんだと思うけど、やっぱりエラー検出くらいはできないとマズいっていう反省じゃない?

      今まで動いていたものが動かなくなった原因が「2台の同IPアドレス別マシン」であるのは確かなんだろうけど、それで落ちてもしょうがないってくらいの瑕疵かは検討の余地がある、というか。

      • by Anonymous Coward

        東証「当社が証券会社に示している接続条件書において、同一 IP アドレス・ポート番号の仮想サーバーは同時接続することができないと記載しています。」

    • by Anonymous Coward

      社長のはメリルリンチ相手に強気に出れない自分への懲罰でしょう

  • by Anonymous Coward on 2018年10月25日 20時14分 (#3504523)

    1つの仮想サーバーでアプリを2つ立ち上げて、同時に接続を試みたらどうなるの?

  • by Anonymous Coward on 2018年10月25日 21時10分 (#3504553)

    お前IPv6でもやる気か?と。

typodupeerror

長期的な見通しやビジョンはあえて持たないようにしてる -- Linus Torvalds

読み込み中...