パスワードを忘れた? アカウント作成
15286027 story
お金

みずほ証券、「まれに起こる」ソフトの起動処理の順序逆転でシステム障害 76

ストーリー by nagazou
こんなことが 部門より
みずほ証券で5月12日、同社の運用する個人向けネット証券取引「みずほ証券ネット倶楽部」でシステム障害が発生した。この障害は8時40分から12時30分にまで及んだ。これによりネット経由での注文ができない顧客が発生、ユーザーは取引店や電話で注文を行うハメになったようだ(日経クロステックみずほ証券:ネット倶楽部サービス不具合に関するお知らせ)。

日経クロステックの記事によれば、障害発生の間、こうした取引店や電話経由で取引を行った約定件数は約4300件。顧客数では約3000人に達したとしている。障害の原因はソフトウエアで通信エラーが発生したことが原因だが、毎朝自動で実行する当該ソフトの起動処理の順序が何らかの理由で入れ替わったことにより、アクセス権限の不一致が発生。その結果として通信エラーが発生したとしている。この事態は「まれ」に起こることが判明してはあるものの、なぜこうしたことが起こるのかは分かっていない模様。

あるAnonymous Coward 曰く、

みずほ証券システム障害で約3000人に影響、起動処理の順序逆転で通信エラー
https://xtech.nikkei.com/atcl/nxt/news/18/10357/

ネット倶楽部サービス不具合に関するお知らせ(過去掲載分)
https://www.mizuho-sc.com/information/netclub_info/index.html

  • 不具合ではなく仕様通りなのかもしらない。

    ここに返信
    • by Anonymous Coward

      まれによくある

      • by Anonymous Coward

        100回問題なくても5000回だと一回変になるとかは…
        ないでもない。

      • by Anonymous Coward

        組み込みで、まさしく、まれによくある
        なんか、起動順番や時間制約を守れる方法論なりフレームワークがあればいいのにね。

        • 手製の部分は、起動直後に空のセマフォでロック。起動完了したら解除だ。
          規制が絡む部分は、手製側でかんたんなコマンドが通るまでロック。

          どちらも、予測以上に時間がかかった場合はエラー通知。
        • by Anonymous Coward on 2021年05月17日 13時54分 (#4032651)

          > なんか、起動順番や時間制約を守れる方法論なりフレームワークがあればいいのにね。

          そのために、あるモジュールが正常起動したら特定の文字列が入るテキストファイルとか都度生成しては、次に起動するモジュールがチェックしてそのファイルを消しってのをするんじゃないの?
          原始的だけど確実よ。

          • by Anonymous Coward

            「チェックして消して」だとatomicにならないじゃん。リネームするんじゃないの?

          • by Anonymous Coward

            フラッシュメモリだったら、起動回数によっては書き換え回数をオーバーするから危険な気がする。
            HDDのシステムをフラッシュに移行して、処理はそのままとか、ありそう。

        • by Anonymous Coward

          組み込み向けOSではそういうスケジューリング問題はとっくに議論され尽くしているのでは?
          デスクトップ・サーバ向けOS使ってるのなら知らんけど

    • by Anonymous Coward

      そりゃファイルサーバー・データベースサーバー・バックアップサーバー・ルーターが立ち上がっていなければ、それらに頼ったサービスは出来ない。

    • by Anonymous Coward

      不具合ではなく仕様通りなのかもしらない。

      もしかして。。。起動せんしガンダム

    • by Anonymous Coward

      仕様通りというか、単に異常ルートを作り込んでいないんじゃない?
      起動順序が狂ったというか、依存するサービスが起動していなければ wait する処理が抜けているだけじゃないかな。
      依存するサービスがあるなら起動順序を制御するのが普通だと思うけど。

  • by Anonymous Coward on 2021年05月17日 12時53分 (#4032595)

    みずほ銀行補正で発生率が上がる、ぐらいまでありそう?

    「みずほ銀行 このカードが場に出ている間、全ての《システム》は障害発生率が+5される。また障害発生時の信用低下量が2倍になる。」

    ここに返信
    • by Anonymous Coward

      いわゆる「まれによくおこる」という奴ですね

      • by Anonymous Coward
        それを言うなら「まれによくある」ではないかね。
    • by Anonymous Coward

      報道のされやすさや記憶への残りやすさについてはみずほ補正はあると思う。
      他の銀行や証券会社との障害発生率の差も見てみたい。

    • by Anonymous Coward

      なにその凄いバフ! ぇ?デバフなの?

  • by Anonymous Coward on 2021年05月17日 12時39分 (#4032589)

    何処のシステムベンダーだよ、毎回毎回

    ここに返信
    • by Anonymous Coward on 2021年05月17日 14時21分 (#4032675)

      銀行と証券は別会社で、開発も別だからね。
      証券のシステムは2018年では、日立とみずほの共同開発だけど、システム名が違うので別の会社が開発してる可能性はあるね。

      旧の頃の合併がまだ影響してたりして?

    • by Anonymous Coward

      何処のシステムベンダーだよ、毎回毎回

      損失出すなって意味では碌でもないですが
      権限無視で走っても正常に動くより遥かにマシな設計かと

      # きっとリアルの指示権限でもデッドロック発生が日常茶飯事みたいな

      • by Anonymous Coward

        下と比べて何か意味があるの?

    • by Anonymous Coward

      ベンダーをいくら変えても不具合連発。
      つまり原因はベンダーではなく、みす・・・

      • by Anonymous Coward

        たぶんそれよね
        この前の連続障害連発も個別に見ると同一ベンダーってわけじゃなかったし
        今回もまた違うベンダーとかありそう

  • by Anonymous Coward on 2021年05月17日 13時06分 (#4032606)

    マゾなの?

    ここに返信
  • by Anonymous Coward on 2021年05月17日 13時11分 (#4032611)

    稀によくある現象ですね

    ここに返信
  • printf()あちこち入れて直るかどうか試してみてはどうだろうか。

    ここに返信
    • それでタイミングが変わってちゃんと動くようになって、
      > printf(なんとか); /* この行を削除すると動かなくなる */
      ってコードが入ることになるんですね。。

    • by Anonymous Coward

      順番が入れ替わるんだからマルチタスクで処理していてスケジューリングがちょっと変わった時なんだろうか

      • むかし、「起動順序は余裕を持ってスケジューリングしてあります」とか言ってくる奴が居たなあ…

        #これの何が問題かわかる人間はバカらしすぎて突っ込む気力が沸かないので、この手の問題は放置されがち。しばらく放置して手作業で起動すれば何の問題も起きないしな。
        • by Anonymous Coward

          資源の排他制御やタスク出力の依存関係を制御せず運良く動いてるプログラムがインフラを担っている恐怖
          「余裕じゃねーよ!ちゃんと制御しろよ!」

          #自分が新人の頃マルチタスクの事をまったくわかっていないリーダーが設計したシステムの尻拭いが大変だった

      • by Anonymous Coward

        直列で処理しなきゃいけないとわかっている処理を並列マルチタスクでやってて
        原因はよくわからないと言ってるならその人の頭がバグってることになる。

    • by Anonymous Coward

      昔はジョブネットの集合体だったけどなぁ。
      「記録媒体を磁気テープからHDDにするのに、ジョブの実行速度に影響が出て順番変わったら怖いから、HDD装置のファームウェアに手をいれて磁気テープ相当にリミッターかける」とかやってたし。
      今どうなのかは知らんけど。

  • by Anonymous Coward on 2021年05月17日 13時47分 (#4032643)

    Windowsではよくあったので、サービス依存関係を手動で設定したり、
    プログラム起動前のウェイト時間を設定ファイルに書いておいて、
    一定秒数待ってから起動とかよくやった

    UNIXの場合は、むかしは設定順に起動してたのが、
    最近のLinuxは、起動時間高速化のために並列で各種デーモンを起動したりてるので、
    まれにおかしなことになる

    起動時間高速化のためのデーモン並列起動は、クラウド業者からの強い要望もある

    ここに返信
    • Aソフトが起動完了したらA'ファイルが作成されるのでそれを待ってBソフトを起動
      みたいなことをしないと起動順序が前後するから単純なWAITは下策だと思う。
      # 起動順序が重要な場合は特に。

    • by Anonymous Coward

      いまのLinuxはたいていsystemdじゃないんですか。

      • by Anonymous Coward

        Requires/Wantsに入れたけどAfterに入れ忘れているとか?
        (それなら根気強く探せば見つかるはずだとは思いますが)

        あとは複数台サーバーがあって、同期が必要とか?
        (私はそんなサーバー管理したことないですけど)

      • by Anonymous Coward

        systemdにしたら、dhcpからIPアドレスを取得する前にユーザーがログインできるようになってしまった。
        面倒だから放置。

  • by Anonymous Coward on 2021年05月17日 14時12分 (#4032664)

    更新直後や再起動したあとに
    いつもと挙動が違うトラブルは大抵こんな感じですが
    まさかWindowsと同じじゃないですよね?

    ここに返信
    • by Anonymous Coward

      Linuxではよくあったな。
      更新かけただけでぶっ壊れて二度と起動しなくなったこと。

      • by Anonymous Coward

        kwsk
        Linuxだとどこで判断して順番が違うってわかるのかな?
        教えてください。

        • by Anonymous Coward

          Ubuntuでただアップデートマネージャーでアップデートかけただけだよ。それでご臨終。

  • by Anonymous Coward on 2021年05月17日 15時21分 (#4032714)

    なに使ってるのかな

    ここに返信
  • by Anonymous Coward on 2021年05月17日 17時22分 (#4032820)

    なに?もう使ってる?systemdなんか使うからこういうことになるんだ。

    ここに返信
    • by Anonymous Coward

      なに?もう使ってる?systemdなんか使うからこういうことになるんだ。

      逆です
      systemdにみずほのシステムを内包しなかったからいけなかったのです(オイヤメロ

typodupeerror

UNIXはシンプルである。必要なのはそのシンプルさを理解する素質だけである -- Dennis Ritchie

読み込み中...