パスワードを忘れた? アカウント作成
43268 story
インターネット

さくらインターネットのデータセンター、リアルに炎上してサーバダウン 110

ストーリー by hylom
西新宿と言うと大手のK社? 部門より

あるAnonymous Coward 曰く、

さくらインターネットの西新宿データセンターで火災騒ぎがあり、サーバがダウンした。同社のお知らせによると、2008年12月19日 12時35分頃に電源設備から発煙し、一部のラックへの電源供給が停止されているとのこと。14:05更新の情報では、「6F Aゾーンの配電盤3台、6F Bゾーンの配電盤2台の片系統もしくは両系統の電源供給停止」という状況らしい。早急な復旧を望みたい。

このデータセンターにはさくらインターネット以外にも多数の企業がサーバーを設置していたようで、この影響によりいくつかのサイトが現在アクセス不能になっているようだ。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 次世代データセンター (スコア:5, おもしろおかしい)

    by Anonymous Coward on 2008年12月19日 18時00分 (#1476838)
    こんな時のために、データセンターはこうしていかないと・・・。

    ブラックボックスを越えた?データセンターが崩壊しても自分で逃げる稼働式サーバ
    http://blogs.itmedia.co.jp/infra/2008/11/post-04df.html [itmedia.co.jp]
  • by birmoc (36042) on 2008年12月19日 16時57分 (#1476784)
    現在トップページが

    いつもGREEをご利用いただきありがとうございます。

    12月19日12:35頃から、GREEにアクセスできない障害が発生しております。
    現在、復旧作業中となります。
    今しばらくお待ちくださいますようお願いいたします。

    皆様にはご迷惑をおかけし大変申し訳ございません。
    今後ともGREEをよろしくお願いいたします。
    になっている。時間ぴったり。
  • by kanina (16615) on 2008年12月19日 18時32分 (#1476859) 日記
    らしい。
    西新宿データセンターの概要

    1. 西新宿データセンターの概要
    (1)所在地 東京都新宿区西新宿
    (2)総床面積 3,200 ㎡(地上8階建ビルの2フロアを賃借)
    (3)サービス開始日 平成18 年6月1日
    (4)地震対策 免震構造(ビル本体)
    (5)設置ラック数 500 ラック(第一期・第二期合計)
    (6)事務スペース ラックルーム以外のスペースをハウジング顧客等に有料提供
    (7)消火設備 ガス消火設備・超高感度煙検知装置(火災予兆検知装置)
    (8)空調設備 床下吹出方式(水冷式高効率年間冷房・空冷式電算機用)
    (9)セキュリティ 非接触型ICカード・生体認証(指紋)での入退室管理
    (10)電力受電方式 特別高圧2系統受電方式
    (11)非常用自家発電装置 ガスタービン式発電装置 2000KVA 2台
    (12)無停電電源装置 n+1 冗長構成UPS 400KVA 6台
    http://www.sakura.ad.jp/ir/pdf/60601-ir.pdf [sakura.ad.jp]

    UPSも焼け石に水。
    あと今回の被害を受けたのは占有サーバで、共用サーバは影響受けてないようです。
    LA見ても、とりあえず落ちてません [sakuratan.com]。
  • 発煙というニュースのはずなのに、ここでは何で炎上になってるんですかね。

    #そういうことにしたほうが面白いってことなんだろうけども。
  • by Anonymous Coward on 2008年12月19日 19時20分 (#1476906)
    表に出るんですねぇ。

    こういうのが出ちゃうと、今落ちてるサーバーの物理的場所が推測できるので。
    顧客には平謝りするけど、セキュリティ上は出さないものだと思ってました。

    借りている某所で、給電システムのショートが発生して
    センター丸ごと落ちたときは表ざたにはなりませんでした。

    また、別の1社でも電気系が落ちたのを内々に聞きましたが
    これも表ざたになってないですね。
    • by Anonymous Coward on 2008年12月19日 21時21分 (#1476966)
      北の某政令指定都市では、サービス開始直後に火事でそのまま廃業という例がありますが…、一般向けプロバイダの揺籃期ということもあって表ざたにはなりませんでしたね。
      親コメント
    • by Anonymous Coward
      物理的な位置って、探す気になればセンター単位程度ならそんなに難しくないですよ。
      まあ面倒な部分は有りますから、ハードルを少しでも高くしたい向きには
      大っぴらにしない方が無難ですけど。
  • \(^o^)/<PTSに誰も並んでねぇ~
    --
    -------- tear straight across --------
  • by Anonymous Coward on 2008年12月19日 17時48分 (#1476827)
    A系、B系両方のダウンは元より、電源の片系がダウンしたら
    皆さんのサイトは大丈夫でしょうか。
    データセンタの電源が厳しいこのご時勢、サーバの電源は冗長化していても
    片系では全てのサーバに電源が供給できず、ブレーカダウンで
    結局電源停止状態になりません?

    #うちは駄目だから絶対ACで

    • by yasudas (5610) on 2008年12月19日 18時11分 (#1476844) 日記
      >片系では全てのサーバに電源が供給できず、ブレーカダウンで
      >結局電源停止状態になりません?

      普通は片系に寄せられても賄える様にするから、

      >データセンタの電源が厳しい

      ことになるんですが、片系に寄せられない様な二重化ってあるんですかね?

      >うちは駄目だから絶対ACで

      追い打ちをかけるつもりはないけど、ファシリティの関係者もしくは
      その上の人がさぼっていると思いますよ。

      某所でサーバ導入した時に「すんません、片系間に合わないんで、
      片系で構築中はやっていけませんか?」というのがあった。
      「電源障害テストも構築作業に入るんですけど...」
      「ん?そのテストはいつごろですか?それまでに間に合わせられるか調整します」
      とかいったやりとりがありました。

      そのデータセンタでは、三系多重で、通常二系統のA系B系運用。
      A系/B系どちらか落ちたら、すぐに残りのC系が介入してダウン無し...
      という話だったのですが、どうもC系介入時に結構なノイズが走る。
      その波形や電圧の遷移とかをまとめた資料見せてもらったことがある。

      (こんなに荒いノイズなら)瞬断の方がましだ..というベンダーや、
      素直に片系落としてくれた方が被害が少ないという基盤設計者まで
      出てきて、にぎやかでした。
      親コメント
    • by Anonymous Coward on 2008年12月19日 18時07分 (#1476843)
      そんな設計してたら、法定電源点検どうすんの?
      親コメント
      • by Anonymous Coward
        >法定電源点検どうすんの?
        そのときに片系がダウンするようなしょぼいところに入ってるの?

        • by Anonymous Coward on 2008年12月19日 22時25分 (#1476998)
          > >法定電源点検どうすんの?
          > そのときに片系がダウンするようなしょぼいところに入ってるの?
          片系がダウンするも何も、サーバに供給している電源線を電路から解放してもらわないと感電します。
          ふつーの企業では、充電箇所の作業や活線近接作業は禁止行為です。
          つまりはサーバをシャットダウンしてもらわないと、出来ないのですけど。

          それでも絶縁工具を使えば大丈夫だとやらせる客もいるし、やれという上司もいる。
          事故が起きたら「活線作業とは聞いていなかった。現地の判断で作業したと思う」といって
          上司は逃げると思われます。同様に客も逃げるでしょう。

          ps.
          分電盤のMCCBまわりにホコリがたまって、トラッキング火災でしょうかね。
          親コメント
          • >事故が起きたら「活線作業とは聞いていなかった。現地の判断で作業したと思う」といって

            信じられない話だが、活線作業は工事業者側の提案で行われる事もありますよ。

            職場でブレーカー工事を依頼したんだが、当然ながらブレーカーの親ブレーカーを止めないと工事出来ないと思ったので、工事業者と打ち合わせで、「工事の都合の良い日を幾つか提案してくれ。サーバ止める時間を調整する云々」と話したら工事業者側から「活線作業すると」提案があった。

            私は電気工事士資格所有者なので、学校で活線作業はしてはいけないと習ったんだが、、業者側から活線作業すると提案があるとは夢にも思わなかった。

            いやまぁサーバ止めるのは大変なので、提案通り活線作業で行ってもらいましたが(^^;;
            親コメント
          • by Anonymous Coward on 2008年12月20日 10時42分 (#1477155)
            > 分電盤のMCCBまわりにホコリがたまって、トラッキング火災でしょうかね。

            ビルの管理してるけど、以前1Fの飲食店の内装工事後、配電盤からなんとなく焦げ臭いにおいがしたのに気がつきました。配電盤をあけてみたら、電力幹線から分岐した線の締め付けトルク不足が原因で接触不良による発熱により、ケーブルが焦げかけてたってのがあります。
            あと、20Aの子ブレーカーからVVF銅単線の締め付けがゆるんでいて、建物のゆれでサーバーが再起動するってのもありました。ただ、あんまり強く締め付けるのも、弾性限界をこえるので逆によくないかも。あと、たまに締め付け直しも必要かもしれません。
            親コメント
    • by Anonymous Coward on 2008年12月19日 21時40分 (#1476974)
      会社の一室に普通のパソコン並べてネットに接続しているだけのレンタルサーバーなので、火事や地震はもちろん停電しただけで終了です。レンタルしているお客様は全て法人・各種団体ですが、金曜の夜から月曜の朝まで停電で止まっていても電話ひとつかかってきたことないです。
      親コメント
  • by Anonymous Coward on 2008年12月19日 18時00分 (#1476837)
    Debian NOC、炎上 [srad.jp]

    データセンター炎上話なら関連ストーリーにこれがなきゃねっ!
  • by Anonymous Coward on 2008年12月19日 18時30分 (#1476855)
    データセンターなら電源は絶対問題ないと言われていた都市伝説が・・・

    自動終了できない機器とかがかなりヤバイことになってるのではないでしょうか?
    • by Anonymous Coward on 2008年12月19日 22時05分 (#1476986)
      SEESAAもでした。 [seesaa.net]

      データセンター事業とそれに依存するサービスの危うさというか... マシンには最高の環境とはいいますが。
      ネットワークインフラが広帯域で割と安価な都心の一等地に置かねばならず、自ずと資本力が問われ、プレイヤーが限られる。そしてヨリによって専用サーバー置き場だったからこのざまです。
      # またいつもの都市VS田舎にしたくはないですが
      {原子力|水力}発電所の近い辺境に置けないもんかね、と思ってしまった次第ですよ。

      この件でデータセンター事業者も、間借りしているサービス運営者もデータセンター分散を真剣に考え始めるでしょうけど、結局さくらが東京大阪に分散二重化しましたとか、運営者が複数データセンター事業者にサーバー分けて置きましたとかなって終わるのかな。
      # 安全保障(軍事)上、東京大阪なんて最たる狙われポイントじゃ...
      親コメント
    • by Anonymous Coward
      最近の消火設備なら、不活性ガスが噴出して延焼は免れるけど
      排気されるまで人間が入れない(窒息する)ので復旧に時間が
      かかるのかも。
      • by Anonymous Coward on 2008年12月19日 19時18分 (#1476905)
        ついでに便乗させてもらうと、ガス消火設備の特徴は
        • 非常にクリーンである(水分や毒の粉をまき散らさない
        • 早期に消化(というか酸化の抑制)が可能
        • 設備が高く、扱いに正しい知識が必要(何でもかんでもぶっかけりゃ良いってものではない)
        • 設置基準が厳しい
        という特徴があり、データセンター(含む図書館)や、クリーンルーム等も含む、汚損による損害が非常に懸念されるところや、駐車場や燃料など非常に燃えやすいものを扱う場所で多く使用されれます。

        で、それにも二種類あり
        • ハロンガス消火設備
        • 二酸化炭素消火設備
        の二種類があります。実はこれは微妙に扱いが異なります。
        ハロン式の特徴は
        • 基本的に人体に無害
        • 臭いがあり、温度が高いとすごく臭い。
        • 温度が常温であるため、冷却作用はないが、結露もない。冷却効果がほぼないため、酸素が流入すると、再燃の可能性が高い。
        • オゾン層を破壊する物質であるため(広い意味でフロンの仲間)現在製造はほとんど行われていない。(厳密には規制対象ではないが、作ってないらしい)
        二酸化炭素式の特徴は
        • 人体に有害。
        • 無味無臭
        • 噴射温度が低いため、冷却効果があり、比較的再燃の可能性を抑える
        • 入手が非常に簡単。(産業廃棄物)そのため、新規設備はこちらの方が多い?らしい
        という感じで、結構違います。

        ということで、ガス施設の場合は、元AC氏の指摘の通りガスの排気の他、ガスは燃焼を止めるだけなので、再燃の可能性高く、普通の水等で消した場合に比べて検証を慎重にしなければならないため、実際には鎮火宣言が出されるのが長かったりして、復旧には時間がかかる傾向があります。

        ただまぁ、水をぶっかけるとか、粉をぶっかけるとかするよりは早いのでしょうが……。

        #書いたはいいものの、おふとぴ気味なのでAC
        親コメント
        • by Anonymous Coward on 2008年12月19日 19時41分 (#1476916)
          データセンターは精密機器類の電気火災を想定してると思うので
          ハロンガス、窒素ガス、アルゴナイトあたりが主流だと思いますよ。
          親コメント
        • by eureca (13651) on 2008年12月19日 20時14分 (#1476931) 日記
          どことはいいませんが、自分が見学したデータセンターは、火災反応があると、
          ドアが全部閉まって、窒素が天井から噴出して満たされるという説明でしたよ。

          閉じ込められた人は「窒素が、窒素が!!!」
          といいながら息絶えるんだろうなーなんて想像してましたが。
          親コメント
          • by Anonymous Coward on 2008年12月20日 9時30分 (#1477130)
            窒素消火の場合、酸素濃度13%を目安にしており生命に(あまり)影響はないです
            酸素濃度10%以下になると危険になりますが、そこまでリッチな施主を見たことがありません

             イナージェンやハロンも同様です。CO2がやばいのは酸素濃度以上に、CO2の毒性による
            ものだったかと思います。確か濃度4%超えるとやばいのに、消火必要濃度が4%以上だったよ
            うな・・・

             とはいえ、採用してる消火システムって表に出ないし気にもされないから同じ認識されてるん
            ですよね。
            親コメント
        • ハロン式の特徴は (中略) オゾン層を破壊する物質であるため(広い意味でフロンの仲間)現在製造はほとんど行われていない。(厳密には規制対象ではないが、作ってないらしい)
          これ自体が都市伝説じゃん……。ハロン消火剤そのものの製造はもはや行われていませんが、ハロン消火設備は今でも新設されています。というか、回収・貯蔵しているハロンが余っているため、必要な用途についてはむしろ積極的に利用してほしいようです。関連: 「クリティカルユース(必要不可欠用途)におけるリサイクル ハロン活用ガイド」の送付及び活用について [fdma.go.jp] (消防庁, H15.12.05)
          親コメント
        • > 二酸化炭素式の特徴は
          > * 噴射温度が低いため、冷却効果があり、比較的再燃の可能性を抑える


          火災にCO2とは!温暖化しちゃうじゃないですか!
          --
          [udon]
          親コメント
        • by Anonymous Coward
          窒素ガス消火設備も忘れないで下さい。
  • by Anonymous Coward on 2008年12月19日 18時38分 (#1476866)
    東京BBS [tokyobbs.or.jp]
typodupeerror

あつくて寝られない時はhackしろ! 386BSD(98)はそうやってつくられましたよ? -- あるハッカー

読み込み中...