同一箇所に4回連続落雷が発生、Googleのデータセンターで顧客データが消失する障害 31
ストーリー by hylom
4連発 部門より
4連発 部門より
あるAnonymous Coward 曰く、
Googleのデータセンターで落雷の影響を受けデータが喪失する障害が発生したそうだ。これにより、Google Cloud Platformに置かれていた顧客データの一部が失われたたという（Business Newsline、GIZMODO）。
障害が発生したのは、8月13日にベルギーにある欧州地区データセンター。データセンターにつながる電力網が連続して4回の落雷に見舞われた。設計上、落雷の発生については考慮はされているが、一度に4度の落雷が発生すること、しかも、4度の落雷が全て同じ箇所に落ちるということまでは考慮されていなかったという。
Googleでは、この障害によりデータの喪失が生じたのは全ディスクスペースの0.000001％に過ぎなかったとしている。今後はハードウェアをアップグレードし落雷対策を改善し続けるとしている。
雷様必死すぎ (スコア:3, おもしろおかしい)
よほど消し去りたい黒歴史があったんだろう
# ドリフターズ時代のアカウントくぁwせdrftgyふじこlp
落雷抑制型避雷針 PDCE (スコア:2)
誘導するんじゃなくて、PDCE の下には落ちなくなるんだそうで、
地球深部探査船「ちきゅう」にも採用されているとのこと。
ただし誘導雷には別の対策が必要な模様。
「雷を落ちなくする避雷針」がすごすぎて思わず二度見した 落雷抑制システムズの逆転ビジネス [ascii.jp]
落雷抑制システムズ [rakurai-yokusei.jp]
uxi
誘雷 (スコア:1)
避雷針とは状況が違うとは思うけど4度も落雷が集中した箇所って何かしら雷を誘導してしまう状況になってたんすかね。
前世紀末辺りにレーザーで雷を誘導する話も流行ってたし、いろんな技術で雷って誘導できると思うけどその辺でカバーしとけば吉。
って、今回被害出たのでこれからそういうのをやるんでしょうけど。
Re:誘雷 (スコア:1)
雷の直撃については最低限の対処が行われているだろう。どこの国でも最低限の落雷対策は建築基準になっているはず。どちらかというと、雷に伴うECMや瞬間停電の方が怖い。自家発電してても、ECMで瞬間停電することもある。落雷対策って、まともにやろうとすると費用が青天井だから、コストと相談することになる。
APC製のサージ対策付きの無停電装置付けてあったのに、ECMでサーバが飛んで、データが消失した顧客対応をしたことが何度もある。
Re:誘雷 (スコア:1)
落雷による瞬停はよくありますね、うちは避雷針で何とかなってて直撃は受けたこと無いのでUPSでしのいでます。
サージ対策はどこまでやってんだかよく知らないけど、今のところ4連発落雷もないし、単発での被害を受けたことも無いのでラッキー。
ECMって Electronic countermeasure ですよね、雷からの電磁攻撃ってとこすか。
雷対策では EMC(ElectromagneticCompatibility)電磁適応だっけ、ってのも聞いたことあるけど、略語は馴染みがないとよくわからなくてややこしい。
Re: (スコア:0)
用語は正しく使うべきでしょうね。一般に言うシステムのノイズ対策はEMCです。
まあ、システム管理者にとっては、システムに障害が発生すれば、雷に電磁攻撃されたようなものではありますけれども。
Re: (スコア:0)
Googleのデータセンターって、真上を戦闘機か何かが通過する場所にあるんですか。知りませんでした。
そりゃあデータの0.000001％くらい、喪失してもしょうがないですよね。
Re: (スコア:0)
ECMなら電子戦機じゃね？
Re: (スコア:0)
この「同じ箇所」っていうのは、おそらく同じ電力網ってことなので、さすがに単独の避雷針でカバーできる範囲じゃないんじゃないですかね。ポイントは4回連続で避けられない瞬停があって、リカバリーモードのときに次の停電が来た、ってことでしょう。
Re:誘雷 (スコア:2)
前世紀と比べると異常気象と呼ばれるような天候が加速度的に激化しているので、今後は通常予想している範囲のン倍安全係数が必要になりそう。
だけど、それこそどこまで予算を取れるか次第。
#☓発なんてもろそれで、万人が安全で安心できるような措置が取れないと稼働はしちゃいけないのかもしれない。これはオフトピ。
Re: (スコア:0)
EMC対策によく使われるバリスタにだって寿命はあります。4回も連続でサージを受ければ破損して用をなさない可能性は大きいですからね。サージフィルタを交換して安全を維持し続ける手間もばかにならないしなあ。
Re:誘雷 (スコア:2)
そのバリスタをリボルバー接続式にして6連発まで自動でリロードできるようにしたりとか、バカ改造の妄想が広がった。
Re: (スコア:0)
そして次弾の装填中に直撃
Re:誘雷 (スコア:2)
となると、多重並列化しちゃうのかな。
いずれにせよ安全係数高めると導入メンテにだいぶんお金かかるのは世の常ですね。
Re: (スコア:0)
おそらく同じ線じゃないですかね？
大電力はブレーカー二つまたは三つ付けてた記憶有ります。
まあ、四発だと物理的に持つのか分かりません。
0.000001％ (スコア:0)
0.000001％ということは、100万台近くあるサーバうち、数台で故障が発生して、データの冗長化にも関わらず1%程度のデータ損失が発生したって計算になるのかな。
１度ぐらいなら、退避系に切り替えて終わりだったんだろうけれど、4度の落雷が全て同じ箇所に落ちることで、運用系と退避系の両方に被害が出たということだろう。データが消えたといっても、おそらく、データが数世代前に戻ったという程度だと思うがね。
Re: (スコア:0)
GIZMODOの記事を読む限り、消えたのは書き込みキャッシュのデータ
ファイルコピー中の場合を除き、間違いなくこの世から完全に消失してる
バックアップの地理的分散はしていないってことか (スコア:0)
金融機関などでは、2箇所にデータセンターを置いてデータを同期させるのは当然に行われているけど、Googleはそこまでしていないのかな。
災害やテロでどこかのデータセンターが物理的に破損すると、大量の顧客データが一気に失われて阿鼻叫喚、という事故もありうるかもね。
そういえば、主要なクラウドベンダで日本にデータセンターを置いていないのはGoogleだけらしいけど、
地震国にデータセンターを置かないのは賢明な判断かもしれない。
Re:バックアップの地理的分散はしていないってことか (スコア:2)
>金融機関などでは、2箇所にデータセンターを置いてデータを同期させるのは当然に行われているけど、Googleはそこまでしていないのかな。
Google Cloud PlatformってGoogleのAWSみたいなもんだから、DR対策はレイヤが違う。その上で顧客が構築するもんでしょ。
Re:バックアップの地理的分散はしていないってことか (スコア:1)
データセンタを2箇所にして、データセンタ内でも運用系と退避系に分けて四重化してても、短時間に切り替えが何度も発生すると、さすがにダウンする可能性がある。ビジネスの継続性を考えると、サービスの停止より、データ同期の喪失や、データそのものの喪失が一番怖い。顧客データの一部が失われたたというが、おそらく、最新データから数世代前に戻ってしまったというレベルではないか。
それにしても、データ同期の喪失って、復旧するのに面倒なんだよね。なまじデータがあるだけに復旧することは可能なのだけれど、バックアップにトランザクションデータ食わせて復旧するのに時間と手間がかかり、検証するのにさらに手間がかかる。
まあ、東海＋東南海+南海のトリプル連動の大震災が来たら、日本の主要なデータセンタは全滅だろうね。東京＋大阪以外に沖縄と北海道にバックアップセンタを作るくらいでないとだめだろうなあ。
Re: (スコア:0)
データセンタじたいは大丈夫だと思いますよ
むしろデータセンタまでの回線が壊滅的にやられると思うので
そっちの方が心配です
特に東南アジア方面のケーブルはヤバいだろうなぁ
連続魔法 (スコア:0)
きっとGoogleに恨みのある黒魔道士が魔法を4回唱えたに違いない!
Re:連続魔法 (スコア:1)
いや、4人とも黒魔道士のパーティーだ
アホだって？アホなパーティーは男のロマンなんだよ。
Re: (スコア:0)
いや、デルタアタックやろ。
Re: (スコア:0)
雷平原に建てるからこうなる
データセンターの場所を特定できそう (スコア:0)
普通、データーセンターの場所は公開してないけど、過去の落雷マップが見れれば特定できそうだね。
テロリストにとっては格好の標的になりそうだな。
立てこもって爆弾設置して、特殊部隊突入と当時に起爆すればデーターはぶっ飛ぶし、死人もわんさか出るｗ
Re: (スコア:0)
この手の青い妄想を見てしまうと何故か胸とか左腕のあたりが疼くんですよねAC
Re: (スコア:0)
なんか勘違いしてるみたいだけど、データセンターに直撃を受けたわけじゃないからね。
同一グリッドに４回落雷があって送電がとまったのが原因らしい。
データ消失は電源断からバックアップ電源に切り替わるまでの瞬間に追加変更されたものだそうな。
>> Google has said that lightning did not actually strike the data centre itself,
>> but the local power grid and the BBC understands that customers,
>> through various backup technologies, were able to recover all lost data.
Re: (スコア:0)
Re: (スコア:0)
ダミーデータセンターを作って、テロリストホイホイにするんですね。
本当か？ (スコア:0)
0.000001％ということは、顧客が10億あったとして、10顧客分ですか。