さくらインターネットのデータセンター、リアルに炎上してサーバダウン 110
ストーリー by hylom
西新宿と言うと大手のK社? 部門より
西新宿と言うと大手のK社? 部門より
あるAnonymous Coward 曰く、
さくらインターネットの西新宿データセンターで火災騒ぎがあり、サーバがダウンした。同社のお知らせによると、2008年12月19日 12時35分頃に電源設備から発煙し、一部のラックへの電源供給が停止されているとのこと。14:05更新の情報では、「6F Aゾーンの配電盤3台、6F Bゾーンの配電盤2台の片系統もしくは両系統の電源供給停止」という状況らしい。早急な復旧を望みたい。
このデータセンターにはさくらインターネット以外にも多数の企業がサーバーを設置していたようで、この影響によりいくつかのサイトが現在アクセス不能になっているようだ。
次世代データセンター (スコア:5, おもしろおかしい)
ブラックボックスを越えた?データセンターが崩壊しても自分で逃げる稼働式サーバ
http://blogs.itmedia.co.jp/infra/2008/11/post-04df.html [itmedia.co.jp]
GREEがダウンしたのはこのせいか (スコア:4, 参考になる)
Re:GREEがダウンしたのはこのせいか (スコア:2, 参考になる)
> 原因:データセンターの設備障害
-- takeyoshi
ここにも出てました (スコア:1)
比較的新しい設備のようですが [impressrd.jp]電源設備からの発煙の原因はなんなのでしょう?
-- takeyoshi
NHKのニュースになってた (スコア:4, 参考になる)
西新宿データセンターの概要
UPSも焼け石に水。
あと今回の被害を受けたのは占有サーバで、共用サーバは影響受けてないようです。
LA見ても、とりあえず落ちてません [sakuratan.com]。
Re:NHKのニュースになってた (スコア:1, 興味深い)
このビル [google.co.jp]ですな。
Re:NHKのニュースになってた (スコア:1)
[udon]
Re:NHKのニュースになってた (スコア:1, 興味深い)
>ホームページなどでデータセンターの詳細な住所を載せていないのは、
>セキュリティを考えてのことなのだが・・
むっちゃ詳細な住所載せてますぜ?
http://www.sakura.ad.jp/ir/pdf/51121_ir_n.pdf [sakura.ad.jp]
2.新データセンターの概要
(1)データセンター名 西新宿データセンター(仮称)
(2)所在地 東京都新宿区西新宿四丁目33番4号 新宿中央公園ビル
(3)総床面積 2フロア合計 3,214.41㎡(972.38坪)
(4)利用予定用途 サーバ・ラック等関係機器設置
ハウジングサービス利用顧客向け事務所スペース提供
(5)サービス開始予定日 平成18 年5月
でもって、ココウチの近所だw
自宅からGREEやSEESAA見てたときはこんな近所に繋がってたのかー
どうりで表示が速いわけだ!
Re:NHKのニュースになってた (スコア:1)
ここも、だね (スコア:1)
ここはひどいインターネットですね (スコア:1)
#そういうことにしたほうが面白いってことなんだろうけども。
Re:ここはひどいインターネットですね (スコア:3, すばらしい洞察)
Re:ここはひどいインターネットですね (スコア:1)
Re:ここはひどいインターネットですね (スコア:1, おもしろおかしい)
関連ストーリーやスレが順調に炎上中です。
# 頑張ってスラドのサーバを落としたらタイトルは嘘ではなくなります><
こういうのって (スコア:1, 興味深い)
こういうのが出ちゃうと、今落ちてるサーバーの物理的場所が推測できるので。
顧客には平謝りするけど、セキュリティ上は出さないものだと思ってました。
借りている某所で、給電システムのショートが発生して
センター丸ごと落ちたときは表ざたにはなりませんでした。
また、別の1社でも電気系が落ちたのを内々に聞きましたが
これも表ざたになってないですね。
Re:こういうのって (スコア:2, 興味深い)
Re: (スコア:0)
まあ面倒な部分は有りますから、ハードルを少しでも高くしたい向きには
大っぴらにしない方が無難ですけど。
Re:こういうのって (スコア:1, すばらしい洞察)
個人的にはデータセンターの所在地はある程度秘匿して欲しい。
Re:こういうのって (スコア:1)
会社的には所在地不明だとIT統制上まずかったりする罠
-------- tear straight across --------
人いなさすぎ… (スコア:1)
-------- tear straight across --------
いっぱいいっぱいいっぱい (スコア:0)
皆さんのサイトは大丈夫でしょうか。
データセンタの電源が厳しいこのご時勢、サーバの電源は冗長化していても
片系では全てのサーバに電源が供給できず、ブレーカダウンで
結局電源停止状態になりません?
#うちは駄目だから絶対ACで
Re:いっぱいいっぱいいっぱい (スコア:5, 興味深い)
>結局電源停止状態になりません?
普通は片系に寄せられても賄える様にするから、
>データセンタの電源が厳しい
ことになるんですが、片系に寄せられない様な二重化ってあるんですかね?
>うちは駄目だから絶対ACで
追い打ちをかけるつもりはないけど、ファシリティの関係者もしくは
その上の人がさぼっていると思いますよ。
某所でサーバ導入した時に「すんません、片系間に合わないんで、
片系で構築中はやっていけませんか?」というのがあった。
「電源障害テストも構築作業に入るんですけど...」
「ん?そのテストはいつごろですか?それまでに間に合わせられるか調整します」
とかいったやりとりがありました。
そのデータセンタでは、三系多重で、通常二系統のA系B系運用。
A系/B系どちらか落ちたら、すぐに残りのC系が介入してダウン無し...
という話だったのですが、どうもC系介入時に結構なノイズが走る。
その波形や電圧の遷移とかをまとめた資料見せてもらったことがある。
(こんなに荒いノイズなら)瞬断の方がましだ..というベンダーや、
素直に片系落としてくれた方が被害が少ないという基盤設計者まで
出てきて、にぎやかでした。
Re:いっぱいいっぱいいっぱい (スコア:1, すばらしい洞察)
Re: (スコア:0)
そのときに片系がダウンするようなしょぼいところに入ってるの?
Re:いっぱいいっぱいいっぱい (スコア:2, 参考になる)
> そのときに片系がダウンするようなしょぼいところに入ってるの?
片系がダウンするも何も、サーバに供給している電源線を電路から解放してもらわないと感電します。
ふつーの企業では、充電箇所の作業や活線近接作業は禁止行為です。
つまりはサーバをシャットダウンしてもらわないと、出来ないのですけど。
それでも絶縁工具を使えば大丈夫だとやらせる客もいるし、やれという上司もいる。
事故が起きたら「活線作業とは聞いていなかった。現地の判断で作業したと思う」といって
上司は逃げると思われます。同様に客も逃げるでしょう。
ps.
分電盤のMCCBまわりにホコリがたまって、トラッキング火災でしょうかね。
Re:いっぱいいっぱいいっぱい (スコア:1)
信じられない話だが、活線作業は工事業者側の提案で行われる事もありますよ。
職場でブレーカー工事を依頼したんだが、当然ながらブレーカーの親ブレーカーを止めないと工事出来ないと思ったので、工事業者と打ち合わせで、「工事の都合の良い日を幾つか提案してくれ。サーバ止める時間を調整する云々」と話したら工事業者側から「活線作業すると」提案があった。
私は電気工事士資格所有者なので、学校で活線作業はしてはいけないと習ったんだが、、業者側から活線作業すると提案があるとは夢にも思わなかった。
いやまぁサーバ止めるのは大変なので、提案通り活線作業で行ってもらいましたが(^^;;
Re:いっぱいいっぱいいっぱい (スコア:1, 興味深い)
ビルの管理してるけど、以前1Fの飲食店の内装工事後、配電盤からなんとなく焦げ臭いにおいがしたのに気がつきました。配電盤をあけてみたら、電力幹線から分岐した線の締め付けトルク不足が原因で接触不良による発熱により、ケーブルが焦げかけてたってのがあります。
あと、20Aの子ブレーカーからVVF銅単線の締め付けがゆるんでいて、建物のゆれでサーバーが再起動するってのもありました。ただ、あんまり強く締め付けるのも、弾性限界をこえるので逆によくないかも。あと、たまに締め付け直しも必要かもしれません。
無停電電源装置はあるけど (スコア:1, 興味深い)
関連ストーリー (スコア:0)
データセンター炎上話なら関連ストーリーにこれがなきゃねっ!
Re:関連ストーリー (スコア:1)
Re:関連ストーリー (スコア:1)
今回もGREEやsonet blogがダウンしたことで、なるほどあそこにサーバがあるわけか、と分かったわけですが、Debianの時も日頃お世話になってたサーバが、ホスト名という名前だけでなく、はるか遠い設置場所にある実体を持つものとして感じられるようになってちょい感慨深かったです。
Re: (スコア:0)
OCNバックボーンが重大障害 [srad.jp]
都市伝説が・・・ (スコア:0)
自動終了できない機器とかがかなりヤバイことになってるのではないでしょうか?
「都市」最強伝説が・・・ (スコア:1, すばらしい洞察)
データセンター事業とそれに依存するサービスの危うさというか... マシンには最高の環境とはいいますが。
ネットワークインフラが広帯域で割と安価な都心の一等地に置かねばならず、自ずと資本力が問われ、プレイヤーが限られる。そしてヨリによって専用サーバー置き場だったからこのざまです。
# またいつもの都市VS田舎にしたくはないですが
{原子力|水力}発電所の近い辺境に置けないもんかね、と思ってしまった次第ですよ。
この件でデータセンター事業者も、間借りしているサービス運営者もデータセンター分散を真剣に考え始めるでしょうけど、結局さくらが東京大阪に分散二重化しましたとか、運営者が複数データセンター事業者にサーバー分けて置きましたとかなって終わるのかな。
# 安全保障(軍事)上、東京大阪なんて最たる狙われポイントじゃ...
Re:「都市」最強伝説が・・・ (スコア:1)
基本的に地盤が猛烈に弱いのでダメです。何であんなところに原発つくったんだか…
ただし自治体・民間の防災体制は日本でトップクラス。
いつか直下型大地震が来てぼろぼろになるのがわかっているので
事前備蓄も中の人のマインドセットもばっちりできています。
Re: (スコア:0)
排気されるまで人間が入れない(窒息する)ので復旧に時間が
かかるのかも。
Re:都市伝説が・・・ (スコア:5, 参考になる)
で、それにも二種類あり
ハロン式の特徴は
ということで、ガス施設の場合は、元AC氏の指摘の通りガスの排気の他、ガスは燃焼を止めるだけなので、再燃の可能性高く、普通の水等で消した場合に比べて検証を慎重にしなければならないため、実際には鎮火宣言が出されるのが長かったりして、復旧には時間がかかる傾向があります。
ただまぁ、水をぶっかけるとか、粉をぶっかけるとかするよりは早いのでしょうが……。
#書いたはいいものの、おふとぴ気味なのでAC
Re:都市伝説が・・・ (スコア:1, 参考になる)
ハロンガス、窒素ガス、アルゴナイトあたりが主流だと思いますよ。
Re:都市伝説が・・・ (スコア:1)
ドアが全部閉まって、窒素が天井から噴出して満たされるという説明でしたよ。
閉じ込められた人は「窒素が、窒素が!!!」
といいながら息絶えるんだろうなーなんて想像してましたが。
Re:都市伝説が・・・ (スコア:2, 参考になる)
酸素濃度10%以下になると危険になりますが、そこまでリッチな施主を見たことがありません
イナージェンやハロンも同様です。CO2がやばいのは酸素濃度以上に、CO2の毒性による
ものだったかと思います。確か濃度4%超えるとやばいのに、消火必要濃度が4%以上だったよ
うな・・・
とはいえ、採用してる消火システムって表に出ないし気にもされないから同じ認識されてるん
ですよね。
Re:都市伝説が・・・ (スコア:3, 興味深い)
ラックの間で作業をしている時には、サーバ群の轟音で避難放送が全然聞き取れませんでした。あれじゃ死にます。
#本番のときはラックへの電源供給を断つから問題ないのかな?
Re:都市伝説が・・・ (スコア:1)
女性はシャッターのすぐそばに倒れたため、シャッターの下の隙間から
わずかに呼吸でき奇跡的に助かったものの、(助けを呼んで?)駆けつけた警備員は
シャッターから遠い出入口付近で酸欠で倒れたため助からなかった。
という話だったような。同じくうろ覚えですが。
Re:都市伝説が・・・ (スコア:1)
Re:都市伝説が・・・ (スコア:1)
> * 噴射温度が低いため、冷却効果があり、比較的再燃の可能性を抑える
火災にCO2とは!温暖化しちゃうじゃないですか!
[udon]
Re: (スコア:0)
Re:都市伝説が・・・ (スコア:2, 興味深い)
>…どこが「汚損による損害が非常に懸念される」のかと!
>おいてあるのは、ただのディスクレスパソコンでした。
80年代以前のメインフレーム・ベクトル計算機時代には
周辺入出力装置としてのミニコンや、ラインプリンター、オープンリールテープドライブなどが
おいてあった部屋なのでしょう。
今では不要になったので模様替えをしてタダのPC部屋になっている、と。
私の母校もそうでした。計算機センターの古参の技官に聞くといいですよ。
火災でダウンというと思い出す (スコア:0)
seesaaもだめだね (スコア:2, 参考になる)
SAKURA Internet // 2008年12月19日 障害発生のお知らせ「西新宿データセンター」
http://www.sakura.ad.jp/news/archives/20081219-001.news [sakura.ad.jp]
現在、サーバーセンターの障害は復旧しておりますが、正常にサービスの提供を行うため、弊社内において検証作業を行っております。
ご迷惑をおかけいたしますが、今しばらくお待ちいただきますようお願い申し上げます。
となってるのでここも影響しているみたい
Re:暫くspamが減るな。 (スコア:1)
Re:つーかさくらだし (スコア:1)
さくらインターネットはコロケーションサービス (ラック貸し) もやっています。
HIRATA Yasuyuki