WebARENA のクラウドサービスに障害、発生から 4 日たっても復旧未定 95
ストーリー by reo
あらあら NTT さんともあろうお方が 部門より
あらあら NTT さんともあろうお方が 部門より
あるAnonymous Coward (2) 曰く、
NTTPC コミュニケーションズのクラウドサービス「WebARENA CLOUD9」で、5 月 8 日午前 0 時頃からサーバーへの接続ができない障害が発生している (CLOUD9 の工事障害情報、INTERNET Watch の記事より) 。
ファイルシステムのトラブルのようで、すべてのユーザーに対し影響が出ているという。仮想サーバーの起動ができず、データに不整合が発生している可能性もあるようだ。データ復旧の可否もまだ分からない様子。復旧予定時刻を発表しては繰り延べが続き、遂に 5 月 11 日には復旧見込み時刻を「未定」と発表するに至った。
WebARENA CLOUD9 のコンセプトには「お客さまにとって、サイトの可用性が高いことが最も重要です。」「高い安定性を実現するため、 フェイルオーバー (故障自動復旧) やマイグレーション (サーバー自動移行) の機能を実装し、 故障時やメンテナンス時のダウンタイムの短縮に努めます。」とあるのだが……。ここまでダウンタイム延び続けだと利用者にも、現場で地獄を見ているはずのエンジニアにも、「クラウド」の評判低下を懸念する同業他社にも、かなり痛いのではなかろうか。
クラウド? (スコア:1, すばらしい洞察)
VPSをクラウドって呼ぶの?
単純なVPSと何か違いがあるのかな?
Re:クラウド? (スコア:2)
別の人も書いている通り、仮想化しているだけなら「仮想化」だし、VPSって呼ぶこともあるでしょう。
クラウドという以上、できればリアルタイムに、簡単に、スケールアップ・ダウンができないといけないはず。
この機能を含んでいない仮想化だけの環境を、「クラウド!クラウド!」と呼んでいるやつは、バズワードに踊らされている残念な子、と判定していますが。
-- gonta --
"May Macintosh be with you"
Re:クラウド? (スコア:3, 参考になる)
クラウドという以上、できればリアルタイムに、簡単に、スケールアップ・ダウンができないといけないはず。
このサービスは、
と言っています [arena.ne.jp]し、将来的にはオートスケールアップ機能とかオートスケールアウト機能とか言っていますので、クラウドで問題ない、と。
Re:クラウド? (スコア:1)
クラウドという以上、できればリアルタイムに、簡単に、スケールアップ・ダウンができないといけないはず。
それぞれが勝手な解釈で盛り上がる、まさにバズワード。
そしてあなたも、踊らされている残念な子なのですね。
Re:クラウド? (スコア:4, 参考になる)
クラウドをバズワードと言う人に大抵共通しているのは NIST によるクラウドの定義 (PDF [nist.gov]) すら読んでないこと。そして去年の CLOUD EXPO に参加してびっくりしたのは、クラウド屋さんすら未だにこの定義の布教に必死であるということ。
で、The NIST Definition of Cloud Computing の Essential Characteristics の項目に
というのがございます。
Hiroki (REO) Kashiwazaki
Re:クラウド? (スコア:1)
だから
は勝手な解釈という指摘は正しいんじゃないの?
「スケールアップ」と「スケールアウト」は意味が全く違う
Re:クラウド? (スコア:1)
残念ながら読んでますよ。読んでいるからこそバズワードと言える。
その理由はあなたがおっしゃってますね。
そして去年の CLOUD EXPO に参加してびっくりしたのは、クラウド屋さんすら未だにこの定義の布教に必死であるということ。
つまり、現状では誰もそんなもの見ていないんです。
読まれず浸透もしない標準仕様書(と言っても草稿だって読みました? つまりまだ定義が固まっていないという弱みすらある)を持ってきて語られても、ね。
Re:クラウド? (スコア:1, 興味深い)
Re:クラウド? (スコア:1, すばらしい洞察)
CLOUD9はサービス名です
# バンド名の方が思い浮かんだ
Re: (スコア:0)
バンドがあんのか。シルバーアクセサリしか知らん。
Re: (スコア:0)
VPS:サーバーを提供する
クラウド:サービスを提供する
と自分の中では定義してる。ハードウェアではなくその上のソフトウェアの提供。だからハードの構成は隠蔽され、自由に規模を変更できる。
Re:クラウド? (スコア:1)
で、その定義だと「WebARENA CLOUD9」とやらは、VPSなの? クラウドなの?
一方、SuitePRO V3は (スコア:1)
http://web-tan.forum.impressrd.jp/e/2010/06/03/8102 [impressrd.jp]
>サーバー稼働率100%というSLA(サービス品質保証)をうたっている。
>つまり、稼働率が100%を下回ったら、そのぶん返金するということだ。
>「サービスが10分止まったら返金します」というこの自信は、サーバーハードウェアはもちろん、
>ファイアウォールやスイッチなど、ネットワーク面も冗長化していことからきているのだろう。
CLOUD9はどうしてこうなった…
Re:一方、SuitePRO V3は (スコア:1, 参考になる)
「この方がコストが低く抑えられるんです」に騙されるな? (スコア:1)
と考える人がこれからは増えるかもしれませんが、
大事なのは、障害対策に加えて、障害が起こっても適切に対処できる会社かどうかを調べることかもかも?
#なんだかどっかで聴いた話。。。
Re:「この方がコストが低く抑えられるんです」に騙されるな? (スコア:2, 興味深い)
業務系システムの設計ではかなり古典的(1970年代からある)な物ですよ. 一般的な故障管理の延長線上にあって, 統計的な故障発生曲線(いわゆるバスタブ曲線)から, 一定の確率で故障が起こるタイミングで故障が発生する以前に交換を行います. これを予防保守と言います.
コンピュータシステムではさらに自身のエラー発生頻度をモニタリングすることにより, 故障の前兆を事前にある程度知ることができます. これは一般にRAS機能と呼ばれ, メインフレームやサーバマシン, あるいは工業用PC等でサポートされています. ただ部品レベルで見れば, ハードディスクにおけるS.M.A.R.T [mycom.co.jp]も一種のRAS機能であり, きっちりとモニターしていれば, そして統計的なデータの蓄積があれば, 一定の確率および停止時間で故障を回避することが可能です.
元々ディスクがおかしかったらしい (スコア:1, 参考になる)
WebARENA CLOUD9 お申し込み [arena.ne.jp]
飽和?リソース上限高止まり。故障点の父母 (スコア:2, 参考になる)
ですか。また一つ変な単語をアレゲドットコムではなくスラッシュドット.jpで教わりました。まる。
サチる (スコア:1)
飽和するのを「サチる」って言うのは、電子系だとずっと昔から使ってたよ。
真空管時代から使ってたんじゃないかな?
アナログ回路をそれなりにやってた人なら多分馴染みの筈。
//他分野は知らん
で、これは私見だが、英語文献に触れる機会が多い程、この手の表現に馴染みやすいと思う。
ま、語源知らなくても、周りに感化されて使うことしばしばだけど。
-- Buy It When You Found It --
こんなときはQBにオネガイだ! (スコア:1, おもしろおかしい)
#そういえばマイメロも魔法少女モノじゃないな。
QB「すべての運命の特異点となった君ならどんな途方もない願いも叶えられるだろう」
まどか(仮名)「過去から未来のすべてのサーバーが故障しないこと。サーバー管理者が絶望せず、笑いながらキャリアを終わらせる。それが私の願い!」
QB「それは因果律に対する反逆だし、無停止サーバー売ってるハードウェアメーカーが絶望しちゃうよ」
#RAID6でも絶望することあるからなぁ
Re:こんなときはQBにオネガイだ! (スコア:3, すばらしい洞察)
ほむら「サーバーが壊れなくなったからといって、壊れるものがなくなったわけじゃない。ストレージ、ネットワーク、ソフトウェアエラー……管理者の絶望は終らない」
だから (スコア:1, おもしろおかしい)
差分バックアップ(イメージ/スナップショット系)は、リストアする前に
ちゃんとマージしないとリストアでき無いンだから、ちゃんとマージをするのに
すンごいシステムリソース量が必要で、だいたいそんなリソース量を事前に検証
/用意出来なくて=予算が無くて=商人の心のように空っぽで、
「ショボン(走召糸色木亥火暴)」
すると、導入前々から言っているのに(うましか)
"castigat ridendo mores" "Saxum volutum non obducitur musco"
またNTT (スコア:0, 荒らし)
> あらあら NTT さんともあろうお方が部門より
Doblogとかを見る限りむしろNTTだからヤバいというイメージがありますね。
固定回線もトラブル多いようだし、
NTTグループで信頼できるのはDoCoMoだけのような…
Re:またNTT (スコア:4, 参考になる)
Doblogもひどかったけど、サーバ提供サービスのWebArenaだってWebArena SuiteXで平日ビジネスタイム丸々ダウンとかふつーにやらかしてますから。
http://web.arena.ne.jp/cgi-bin/suitex/news.cgi?target=20100702050957 [arena.ne.jp]
# そのWebArena SuiteX使用中なのでAC。さすがに引越し準備中。
Re:またNTT (スコア:3, おもしろおかしい)
Re:またNTT (スコア:2, 興味深い)
> むしろNTTだからヤバいというイメージがありますね。
おそらく本業が通信屋で、サーバ屋さんじゃないからでしょう。
右のデータを左にまる投げ、は得意だけど預かったデータを自分で保管するのは苦手、というか。
Re: (スコア:0)
Re: (スコア:0)
三菱って言われても、家電か車か鉛筆か銀行か分からないとねぇ
ひとつは違うグループだったりするし
Re:三菱さん DIS ってんの? (スコア:2, 興味深い)
Re:三菱さん DIS ってんの? (スコア:1, おもしろおかしい)
三菱鉛筆は三菱財閥すべてを束ねます。
麒麟ビールで我に返りますな(笑)
Re:三菱さん DIS ってんの? (スコア:1, 参考になる)
VERIO? (スコア:1, 興味深い)
10年位前にVERIOのサービスを使ったことがありますが、事務方のあまりのお粗末さに唖然としたことがあります。
Re:VERIO? (スコア:2, 興味深い)
ファイルシステム障害なので、仮想化ソフトの不具合なんだろうな。
というわけで今後、同様事例で落ちそうな会社
Speedex
http://www.speedex.ne.jp/system/tech_vps.html [speedex.ne.jp]
RapidSite
http://www.rapidsite.jp/product/vps/ [rapidsite.jp]
ViaVerio
http://www.viaverio.jp/products/vps/ [viaverio.jp]
NTTコミュニケーションズ自身の社内システムとか大丈夫なんだろうか
Re:またNTT (スコア:1)
またまた,ご冗談を.
「おもしろおかしい」かと思ったら「興味深い」でしたか・・・
Re:またNTT (スコア:1)
Re:またNTT (スコア:1)
開発と運用は別ですよ。こないだドコモ中央契約者だけ変なトラブルが出てませんでしたか?
できる事が… (スコア:0)
&社内の部署の罵声に晒されるのが悲しいところ。
データ容量が少ないなら、毎日手元にバックアップ取って、
障害時は別の箇所に早期に立ち上げて復旧…って手もありますが。
容量大きいモノには向かないんでしょうかね。
Re:できる事が… (スコア:1, おもしろおかしい)
ははぁ。 (スコア:1, おもしろおかしい)
雲隠れですね?
VPS使っている人は自分でバックアップしてないの? (スコア:0)
リアルタイムとは言わないけど、重要なデータくらいせめて30分毎位で外部に差分バックアップし
てないもんなのでしょうか?仕事で使っている人は特に。
自分のメールサーバとWebページをVPSに置き換えようと考えているのですが、そのへんは商業レベル
でもVPS運用側にお任せな人が多いんですかね?
今回のトラブルに関係無く興味があります。
Re:VPS使っている人は自分でバックアップしてないの? (スコア:2)
それだとパフォーマンス影響がきついのではないでしょうか?
RAID+朝方のデイリーバックアップ
がせいぜい関の山かと。
RAIDのサイレントクラッシュを検出したときに
どうやってサービスを継続したままRAIDシステムを安全にリカバーするかが肝ですね。
Re: (スコア:0)
商業レベルでは、よほど小規模な企業や個人事業主で無い限り、そもそも VPS は使ってないと思いますよ。
それは、単に Web ページを公開しているだけの企業であっても、裏側では例えば業務システムと連携していたり、
顧客管理システムと連携していたりするからです。
そうすると、VPS の機能だけでは不十分だったり、コンプライアンス的に難しかったりしますから。
Re:VPS使っている人は自分でバックアップしてないの? (スコア:1, 参考になる)
> そういう頼りにしていた機能が使えなくなるって言うことじゃないのけ?
AWSの場合、スナップショットが保存されるS3は物理的に離れたIDCに分散してデータを保存しますので
複数拠点のIDCが同時に障害を出さない限り問題無く復旧できます。
現在5地域、地域ごとに複数箇所のIDCが存在します、
日本国内だけで提供されてるようなクラウドサービスとはそもそも規模が違います。
こんな時に… (スコア:0)
クラウドコンピューティングEXPOに出展中。
現場は針の筵だろうな…
http://www.cloud-japan.jp/ja/ [cloud-japan.jp]
これが怖いので (スコア:0)
CLOUD9なのでVPSサービスのWebarenaPROは関係ないのかな?
どちらにしても共用はやっぱりリスクが大きいように思うので専用サーバ契約してます(月額約\30,000のスタンダードプランです)
障害対策で社内や別会社のサービスにバックアップや同期手段を持っておくことが必要なのはもちろんですが。
タイトル (スコア:0)
「4日目たっても」
という日本語は無い
Re:タイトル (スコア:1)
修正しました。ご指摘ありがとうございます。
Re: (スコア:0)
僕達が知らないだけで、2ch用語じゃないか?
セキュリティホールMEMOより (スコア:0)
このへん [ryukoku.ac.jp]によると、NTTPC コミュニケーションズは、5/13 まで開催されている第2回クラウドコンピューティングEXPO春 [impress.co.jp]に出展しているとのこと。
自社のクラウドサービスがトラぶったままクラウド関係の展示会に突入って、どんな罰ゲームですか。
Re:NTTPCヴァカだろ (スコア:2, おもしろおかしい)