あるAnonymous Coward 曰く、6月7日に複数の銀行やニフティのサービス、スクウェア・エニックスのオンラインゲームで障害が発生したが、これらの原因はすべて富士通の館林データセンターが原因だった模様（日経ITpro）。障害の原因はUPSの故障という、よくありそうなものだったのだが、これによって影響を受けたユーザー数は数十万規模に上るという（Publickey）。海外では、Amazonの障害により多くのネットサービスが影響を受ける事態が数回発生しているが、日本でもデータセンターの分散化を真剣に議論する必要があるのかもしれない。
経験あり (スコア:5, 興味深い)
富士通じゃない、別のDCのコロケーションサービス借りていて
見事にブラックアウトかまされた事があります。
滅多に行かない現地に行ったら、DC内は大量の人であふれてました。
みんな目が血走ってて怖かったです。
多くの人が、ラックにドロワディスプレーとKVMを付けてないんですね。
100ラックぐらいに2セットしかない、モニタとキーボードを取り合いしてました。
ウチはドロワとKVMを付けてたので助かりました。
＃今なら仮想化のDR機能やクラウドがあるので、とれる対応も変わりそうです
オフトピ (スコア:0)
DCって略称使われて瞬間？状態だった。
DCって言うと直流電流のほうが馴染みが深いためなんだけど、今じゃそんなことはないんだなと実感。
そういえば、以前DCと書いたらドリームキャストと勘違いされたし、米国じゃスポーツ用品メーカー、独国じゃ自動車メーカー、といろいろあるんですよね。（むごいのになると男子中学生ってのもあるみたい）
略語ってむずかしいなぁ。
Re:オフトピ (スコア:2)
Re:オフトピ (スコア:1)
いやいや最近は各ラックに直接, あるいはラック内で直流給電 [itmedia.co.jp]とかが広まってきているので, ますます分からなくなってきてます.
Re:オフトピ (スコア:1)
＞独国じゃ自動車メーカー
ダイムラーはクライスラーを売っちゃって、もう元に戻っていますよ。
Re:オフトピ (スコア:1)
＞略語ってむずかしいなぁ。
「ATM」で何を思い浮かべるかで、その人の趣味がわかります。
Automated teller machine
Anti-tank missile
Asynchronous transfer mode
Adobe Type Manager
Re: (スコア:0)
分かりにくいんで、今時インターネットに繋がってないデータセンターなんて滅多にありませんが、iDCとわざわざiを先につけてます。
インターネットデータセンターという意味ね。
Re:オフトピ (スコア:3, おもしろおかしい)
ああ、次は大塚家具だ…
会社でMacだと・・・・ (スコア:2)
いざ仕事のためにiMacの再インストールで
Lionの場合インストーラがネットからOSイメージを落としてくるようですが、
昨日は何か理由があるのかAppleのサーバの処理が遅くてインストールに8時間とか・・・。
Appleのデータセンタが吹っ飛んだら本当に大変なことになりそうだなとは感じました。
せめてOSイメージを社内のマシンに置ける仕様にして欲しい。
Re:会社でMacだと・・・・ (スコア:2)
Lionは無理ですよね？ 可能なら是非ソースください。
結構問題なので
データ消失しなきゃおｋ (スコア:1)
メールもケータイ、ISP、Yahoo、Gmail・・・と使い分けているので
どれかが生きてりゃ何とかなる。
インターネットに依存した生活をしなきゃいいだけ
Re:データ消失しなきゃおｋ (スコア:1)
ここは治しに行ったり、「治ったかどうか」を検証する仕事の人が来るサイトだと思ったがな。
アビバレベルの人が来ても面白く無いぞ。
Re: (スコア:0)
個人ならそれで良いけど、業務だとなあ……
Re:データ消失しなきゃおｋ (スコア:1)
データ消失してたら復旧までえらく時間がかかる。
富士通のほうは一日クレーム電話処理してただけですんだ。
（それでもしにそうだったけど）
ファーストサーバのほうは、仮復旧まで１週間
完全復旧まで約３週間。（厳密には完全復旧じゃないけど）
#両方影響あった人なのでAC
Re: (スコア:0)
どこか1つ止まっただけで業務がストップするならなおさらまずいと思うんだけど。
ファーストサーバーにすべて預けて安心しました系?
Re: (スコア:0)
記事にも書いてあるけど、普通の会社はサーバの冗長化はしていても
データセンタの分散化なんてしていないから、センタが丸ごと
落ちた場合、復旧するまでメールの送受信ができなくなるかと。
銀行やニフティだって、少なくともWEBサーバは一つのデータセンタで
賄っていたわけで、大きな機会損失が発生していますよね。
Re: (スコア:0)
ウチはDCも分散化してるから大丈夫
↓
全データ見られないと情報として無意味なんで、却って危険になってました
＃RAID0みたいな（笑）
Re: (スコア:0)
少なくとも元コメが言ってるような
>待ってりゃ治るならそれで十分
は駄目だろ。
Re: (スコア:0)
だったらデータ消失してもいいんじゃね
Re: (スコア:0)
> メールもケータイ、ISP、Yahoo、Gmail・・・と使い分けているので
> どれかが生きてりゃ何とかなる。
ただ、このストーリーの趣旨的には
クラウド時代が来て、別々のサービスを使い分けていたつもりが、実は全部同じセンターにあって全滅しました！
って事態に対する考慮は要るよね、って話では？
#その時は諦める、って選択肢も事前にしてあれば考慮といえば考慮
Re: (スコア:0)
物理的に異なることが自明なサービス(たとえば自宅サーバー)を併用すればいい。あくまで併用ね。
Re: (スコア:0)
> インターネットに依存した生活をしなきゃいいだけ
「たかが電力」並みのバカ発見
Re: (スコア:0)
坂本さんの真意も読み取れないとは。
言葉狩りレベルの個体発見。
Re: (スコア:0)
真意()
他人の発言を勝手に自分の都合のいいようにこじつけるチリ発見
Re: (スコア:0)
＞ こじつけるチリ発見
↓
言葉狩りレベルの個体 に戻る
以下ループ
Re: (スコア:0)
少なくとも、天秤の両側に命が乗っていることはまったく理解していない発言だと思いましたが。
Re:データ消失しなきゃおｋ (スコア:2)
> だいたい、原発は止めただけではリスクはほとんど変わりません（特に大災害に対しては）。
まぁ、なんか最近、この手の言説がはやってるけど止めた後に
さらにやる事があるということは原発を止めない理由に全くならないな。
これを言ってるやつは馬鹿か下種かどっちかなわけだが
お前はどっちだ？
# その前に言ってることも同様に馬鹿か下種のいうことだが
# いちいち突っ込むのはもうめんどくさいや。
Re:データ消失しなきゃおｋ (スコア:1)
誠氏ね
Re: (スコア:0)
彼は早くからネットでの音楽配信とかに目を付けてたけど、当時はまだ回線がアレだったんで、結構迷惑がられてたような。
電源トラブル (スコア:1)
AWSも電源トラブルだったようですが，データセンタにおいて電源廻りはウィークポイントになりやすいのでしょうかね?
オペレータが蹴躓いてコードを抜いちゃった系は置いといて．
Re:電源トラブル (スコア:3)
データセンタは、極論すると「場所」と「電力」と「冷却」を売っている所になりますかね。
その中で一番、メンテナンスが難しいところが電力周りになります。
（冷却も電力を使いますが、最近は自然冷却を売りにしている所も多くなっているので分けました）
電力の部分についてはこんな感じの構成になります。かね？
・電力会社（東京電力、東北電力など発電会社が分かれている、発電所が分かれている）
・受電方式（２重、スイッチ、単など、発電所から建物が電気を受け取る線の冗長性）
・自家発電機（燃料による自家発電。大体３時間から半日くらいもつケースが多いみたい）
・UPS（蓄電池。億単位で揃えたとしても１０分程度しか持たない。）
・分電板（各部屋への電力分岐）
この中でデータセンタとして多いトラブルは「UPS故障」「分電板故障」「電力切替のミス」あたりですかね。
以前にラックルームが煙でいっぱいになっていて、原因が分電板が燃えていたなんてことも。
で、UPSを使うケースというのは受電方式を切り替えるタイムラグや、自家発電機を回す為の時間を稼ぐ為
というのが主になります。
そのように稼動する為には障害が起こって気づいてから切替という訳にはいかず、ほぼ直結上に置かなければなりません。
（交換の為に迂回路があったり、完全な直結であるというわけではありませんが）
そのUPS自体で障害が起こると結構手がつけられません。ある意味では電線切っちゃったみたいにな事態になります。
無論、UPSの冗長化も可能なのかもしれませんが、非常に高価になってしまうでしょう。
（UPS系統を分けておき、一部UPSで障害がおきても影響が一部に留まる様な設計もあるかと思います。どこかで聞いたような？）
後は交換時や実障害時のトラブル。
UPSの稼動試験などは、易々とは行えないので稼動時に切り替わりが上手く行われない事があります。
各設備はそれぞれメンテナンスや交換で構成が変わりますので、その時に連動が切れてしまうのでしょう。
（サーバリプレース時に切り替え試験ができない状態のまま、運用せざるを得ない状況だと考えてください）
まぁデータセンタのUPSは上記のように、受電方法の切り替えの時間稼ぎが主な役割です。
データセンタにUPS経路が冗長化されているか確認したり、自分のラックにデータセンタ故障時の対策用UPSを置くのもありです。
これはデータセンタのUPS故障が直るまで保たれなければならないので時間想定が難しいですが。
以前にバッテリーが付いたサーバだかが話題にでましたが、あれはあれでいい発想だと思ってます。
# 運用畑が経験したり聞きかじった情報ですので100%信じないでください。職募集中。
Re:電源トラブル (スコア:2)
あまり詳しくはないのですが、一番お金がかかるところだったりするんじゃないんですかね。
Re:電源トラブル (スコア:1)
電源ユニットってたいてい冗長化してるけど、UPSってあんまり冗長化してないイメージがあるけどそうでもない？
サーバールームに行くとたまにUPSのバッテリーアラームがぴーぴー鳴ってるので音源探して連絡してるけど。
#UPSは直接担当してないので運用はあまり知らない。
Re:電源トラブル (スコア:1)
冗長系は設計通りに設置して確認して終わりっぽい。
重要な施設とかならきちんと試験するんでしょうけど。
#DCならソコが重要だよね。
部門名 (スコア:1, すばらしい洞察)
JASRACさん、この人です！
Re: (スコア:0)
10月から見たお前も同罪だろ
思わず歌う (スコア:0)
♪悲しみのNIFTY-Serve
あんな暑いところに、、、 (スコア:0)
富士通の工場があったところは郊外だけど、
気温も関係していたりした。
Re:あんな暑いところに、、、 (スコア:2)
対地震の都合であそこだそうな。
私も「どうしてこんな暑いところに?」って思ったんだけど。
Re:あんな暑いところに、、、 (スコア:3)
初回で出て来て、誰だと思ったものさ
UPSの故障が増えている (スコア:0)
原発が停止して以降、UPSの故障が増えているという実態があるようですが、
もしかすると電源の不安定さと関係があるんではないでしょうか？
オーディオ的には当然です (スコア:3, おもしろおかしい)
鉛電池のUPSと相性の良かった、原子力由来の電力がもつ独特の重さが無くなりました、
細かな煤煙のようなノイズが、UPSの電源フィルタを痛めています。
Re: (スコア:0)
ありそうではありますが、そもそも電力供給不安でUPSの設置数（分母）が増えたてことはないすか
# ユーザが増えれば故障件数は増えるでしょうから
あと、「ブーム？をあてこんだ粗悪品」とか。
Re: (スコア:0)
ノイズしかない掲示板で人に聞くより電圧測れよ。マジで一発でわかるよ。
Re: (スコア:0)
今まで使ってなかった人が中途半端な安物を購入して、大きな声を上げているだけでは無いですかな？
無能で説明できる現象に悪意を見出すな
Re:UPSの故障が増えている (スコア:1)
UPSの障害って電池切れがほとんどだと思ってたけど、そうでもないのかな。
だいたい有効期限前後で気をつけていれば対処できるけど、稀に半年以上ずれてアラーム鳴ってるのもあるね。
一斉に導入してると、電池が一斉に切れるのが難点。
Re:UPSの故障が増えている (スコア:2)
電池の問題ですが電池切れではないやつを経験しています。
電池が経年劣化で膨らみ熱を発していたのを発見、壊れる前に交換しました。もうちょっと気付くのが遅れたら危なかったそうです。
経年劣化って言っても補償期間内だったので只で交換できました。只で済んで運がよかったのか、補償期間内の不具合に当たって運が悪かったのか、今でも判断に困ってます。
# どう危なかったのかというと、電池が破裂しかねなかったのだとか。鉛蓄電池ってことは硫酸が吹っ飛ぶのか。クワバラクワバラ。
Re:UPSの故障が増えている (スコア:1)
APCのUPSは良くなってるよね。
症状酷いと引っこ抜けない。
# 基本バッテリー冷却が出来てないのが原因だと思ってる。
Re: (スコア:0)
うちはUPSあるから大丈夫 > 原発事故もあったしUPSチェックしとくか > あれ？古くなってて使えない？ > はい、ただの置物でした > 鰯の頭も信心から あはは
Re:UPSの故障が増えている (スコア:1)
しょぼい雑居ビルでコンセント末端の電圧が低くなっていることはたまにあるぞ。
そういうビルでは、供給を受けている時点で辛うじて規定値内でも分電盤を通って末端で電圧低下していることがある。
よく法定点検でパスできるなと思うのだが。