NTTデータが運営するBlogサービス「Doblog」に障害、1週間経った現在も閲覧不可能 108
ストーリー by hylom
まだまだ復旧中、 部門より
まだまだ復旧中、 部門より
あるAnonymous Coward 曰く、
NTTデータが運営するBlogサービスDoblogに障害が発生、現在利用ができない状況となっている。障害の発生が確認されたのは遅くとも2/8だが、そこから1週間たった現在でも、「いつ復旧するか」という情報は公開されていない。
現在、Doblogのトップページにて公開されている「お知らせ」によると、2/8の10:00にデータベースサーバーおよびバックアップサーバーでハードディスク障害が発生したのが今回のサービス停止の直接の原因の模様。いったんは「2/13に復旧する」とのアナウンスがあったものの、2/15時点では「まだ復旧作業中」とのアナウンスが出ている。
最初の復旧予定が障害発生から5日後というのも現代のWebサービスではあり得ない対応の遅さだと思ったのだが、さらにその復旧に失敗となると、何をやっているんだと突っ込みたくなる。「無料サービスだから」と手を抜いていたんでしょうか？
2月16日の12:30時点で、「まだ復旧作業は継続中」とのアナウンスが出ているが、復旧がいつになるのかは未だに不明である。
もっとも驚くべきこと (スコア:5, おもしろおかしい)
もっとも驚くべきことは、一週間以上も停止していたにも関わらず、
ほとんど誰も気付かず、話題にもならなかったことではなかろうか。
Re: (スコア:0)
もっとも驚くべきことは、一週間以上も停止していたにも関わらず、
ほとんど誰も気付かず、話題にもならなかったことではなかろうか。
どぶろぐ（田舎訛り）飲んで酔っ払って巡回忘れていたのでしょう
Re:もっとも驚くべきこと (スコア:2, すばらしい洞察)
そりゃあ気にしてる人『も』いるでしょう。
しかし「Googleで検索結果がすべて「危ないサイト」になるトラブル」の時との
扱いの差を見れば、気にしている人がいかに少ないかは言うまでもないですね。
元社員も嘆く (スコア:5, 興味深い)
つ 「NTTデータDoblogの障害を見て～やはり辞めてよかったと思う元社員」
http://blog.livedoor.jp/tabbata/archives/50657332.html [livedoor.jp]
Re:元社員も嘆く (スコア:2)
木を見て森を見ずというか…。
私怨が渦巻いているブログであることだけは理解しました。
と言うかさ、
まがりなりにも一度は「自分が」選んで勤めた古巣に対して、
実社名で見当違いな誹謗ブログを書くってのも、
人間的に相当アレな気がする。
Re:元社員も嘆く (スコア:1)
＞まがりなりにも一度は「自分が」選んで勤めた古巣に対して、
それは議論とは関係のない話です。
プロであれば生半可な同情など必要ありません。
自分が『今』務めている会社であったとしても、プロの名に値しない
下らない仕事しかできないのなら、やはり私は批判するでしょう。
ただのYESマンに成り下がるよりはよほどマシです。
＞実社名で見当違いな誹謗ブログを書くってのも、
私は実に的確な批判だと思いますよ。
Re:元社員も嘆く (スコア:1)
世間一般ではNTTデータよりライブドア社員の方がいいのか・・・
Re:元社員も嘆く (スコア:1, すばらしい洞察)
「興味深い」のプラスモデが多いので「そういうこと」なんだと私は理解してますが。
元NTTデータに2年、リクルートに4年、2005年から現職ライブドアで
なおかつ「メディア事業部長をされている方」が書いているわけですから。
TABLOG:田端 信太郎/Tabata Shintaro のプロフィールです - livedoor Blog（ブログ）
http://blog.livedoor.jp/tabbata/archives/50632040.html [livedoor.jp]
なんでエントリの最後に
>NTTデータにとって「ブログ」なんて、お正月の凧揚げみたいな余興なのだろうが、livedoorは、ブログで「食う」という覚悟を決めた会社である。Doblogユーザーの方、これを機に、livedoorBlogに移りませんか？
書いてあるんだろうと思ったら……。
正直、ブログで「食う」覚悟を決めた会社の部長であっても
このエントリが自分と自社にどんな影響を与えるのかどうか、判断付かないもんなのかね？
私は「荒れる」「炎上する」可能性が万に一つもあれば止めるべきだと思うんだけど。
こんな半分愚痴みたいなエントリは愚痴をこぼすべき場所ですればいい話。
Re:元社員も嘆く (スコア:1)
本社ってわけじゃないけど、IBMもありますね。
あと、橋を渡った先には、三菱UFJ証券のシステム子会社があります。
Re:元社員も嘆く (スコア:2)
--- show mpls ldp neighbor
利用者は大至急、キャッシュからブログを回収すべし (スコア:5, 参考になる)
「復旧作業は継続的に実施」なんて言葉を信じちゃダメだ。「復旧作業は絶望的状態」「復旧作業は手が着けられない」と思うべき。すなわち待っていればデータは戻るなんて考えたら甘い。もしかして、上司に報告できないのか？ ダメだと担当は判りきっているのに、散々時間をかけてから「ダメでした」と言わないと納得しないデジタルデバイドな組織なのかもしれないが。多分、RAIDのコントローラーのハード故障のせいにするだろう。実際は、
であっても。
今のうちなら Google や Yahoo! で自分のブログを見れば、キャッシュが残っている可能性がある。それをメモ帳でも何でもいいから、テキストを保存しておくべきだ。
NTTデータがついに復旧できませんでしたと発表する頃には、キャッシュも消えてしまう恐れが高くなる。それでも恐らく補償はされないだろう。Geocities もそうだったが、データのバックアップもできていないのに、ユーザーにバックアップの必要性を周知しておらず、バックアップのツールも提供していなかったな。
それにしてもブログの運用もできないのか、NTTデータは。素人の集まりか?
NTTデータの批判記事 (スコア:3, 興味深い)
さすが社保庁のシステム担当企業 (スコア:2)
一週間も余裕で放置かましてるのは、競争がないゆえに非効率になれてしまったという共産主義国的な日頃のゆるさのせいなんだろね。
ホントの資本主義=自由競争になればこういう非効率な企業が真っ先に死んじゃうんだろう。
Re:さすが社保庁のシステム担当企業 (スコア:1)
不特定者が書き込める場所にある信憑性の低い匿名情報を嬉々としてIDで書き込む姿勢には驚嘆するが、
＞無期限プロジェクトが延々と続く
これ何だと思って転記してる？
無期限プロジェクトって何？
＃こういう時にこそ書き込みはIDで。
Re:さすが社保庁のシステム担当企業 (スコア:2)
"無期限プロジェクト"は正確には"無期限みたいなプロジェクト"のようですね。
公共部門では仕事取るための競争がないので営業する必要も大してなく、
会社は偽装請負 [mynewsjapan.com]をやってるので社員は仕事を奴隷に丸投げするだけで
納期前の忙しさもクライアントからの評価もあまり関係がないとかそういう話みたいです。
社保庁のシステムがいい加減 [hatena.ne.jp]なのもそのせいなのかな。
しかしながら、天下りなどの癒着 [asahi.com]が半端ないので信頼関係は揺るぎないと。（笑）
全く、国民が馬鹿だから儲けているような企業だ。（笑）
Re:さすが社保庁のシステム担当企業 (スコア:1)
NTTデータはさすがに就職の競争率が高いだけあって、
優秀な社員さんもたくさん見ました。
プロジェクトの実行力も、技術力も、いい部分(人)を
とってみれば相当なものだと思います。
一方で、高コストだとか、官僚的だとか、丸投げだとかいう
批判についても、全くゆえないこととも思いません。
ただ、全体的にみて、収益源であり、顧客との関係が固く、
無理しなくても仕事が入ってくる公共部門ではなく、
優秀な人材は収益力の弱い民間部門に投入しているんじゃない
かという感はありますね。
あと、同業他社にしてみれば、NTTグループのまとまりのなさは
随分と救いです。
今回のブログにしたところで、レゾナントが Goo ブログをやってるのと
競合してますよね。
Re:さすが社保庁のシステム担当企業 (スコア:1)
ま、まさか (スコア:1, おもしろおかしい)
まさか、あそこのHDDだったんじゃ…。
Re: (スコア:0)
あそこのHDDだとしても、今だととっくに交換済みでしょう。
しかもメインとバックアップの同時故障ってどういうことだと。
さらにテープなどを使ったリモートバックアップも考慮すると、
復旧できないし見通しも立たないというのはあり得ないと思うんだが。
＃技術力があればの話なので、技術のない会社ならありうる話。
Re:ま、まさか (スコア:4, 参考になる)
>＃技術力があればの話なので、技術のない会社ならありうる話。
いえいえ、技術力があると表面的に思われている弊社でも、
開発から初期運用時はそこそこの技術者が関わっていますが、
下手に安定してしまうと他所に回されて、手順書の整備もされず、
コマンドの訳もわからず叩く良く訓練されたサルが運用します。
ですから、技術力ある会社が作って安定してしまうシステムほど、
いざと言う時にもろかったりするのでは無いかと察します。
特に、ミッションクリティカルと程遠いブログシステム等尚更。
マイクロソフトの「答えてねっとの件」 [srad.jp]もそういう感じだと思います。
Re:ま、まさか (スコア:5, すばらしい洞察)
技術力のある会社はそんなことしない。
>ですから、技術力ある会社が作って安定してしまうシステムほど、
>いざと言う時にもろかったりするのでは無いかと察します。
だからこれはない。
とだけ言うとフレームの元になりかねないので説明。
何をもって「技術力がある」と言うかの問題で、コーディングして
動かすところまではできるので「技術力があると表面的に思われている」
というような会社もあれば、運用面のことまできちんと整備する
会社もある、ってところでしょうが。
Re:ま、まさか (スコア:1, 興味深い)
問題は、それがその会社の裁量でコントロール出来るかどうかですよ。
安定運用に入った途端に「君らコスト高いから別の会社にするね、運用手順書だけくれれば良いから」
なんて言われて切られた場合はどうします？
技術力の高い会社は、きちんとした運用手順書を用意してるでしょうね。技術力のある人向きの。
しかし、それをサルに渡して同じ運用が出来ますかね？
Re:ま、まさか (スコア:2)
顧客に対して自分達が運用することのメリットをうまく説明したり納得させられないという
アピール力? プレゼン力? コミュニケーション力の不足ということが言えますし、
まともな話が通用しないレベルの顧客なら、そもそも最初にそういう顧客を捕まえてしまった
or拒否できない営業力・政治力の不足、バカな顧客を捕まえてしまった運のなさ、などが
あげられますね。
Re:ま、まさか (スコア:3, 興味深い)
>>>下手に安定してしまうと他所に回されて、手順書の整備もされず、
>>技術力のある会社はそんなことしない。
>そーかな。サルでもわかるマニュアル作るのは難しいと思うよ。
>とくに障害が発生したときのヤツは。
元ＡＣですが、まさにそういうことですね。
PJロールアウト直後は、それなりに整った手順書があるわけですが、
サルが配置されると手順書のほかに必要な知識を使わず運用するので、
「調子が悪い時は再起動だな」と、調査もせずにやらかすわけです。
そして二度と起動しなくなるとか、もうね。
データセンターへタクシーで直行程度で済めばいいですが…
（実際、私の知る範囲では今のところ、それで済んでいるようです）
そうでなかった時のビジネス停止リスクが甘く見積もられているものだと、
いっつもナアナアで処理されてしまう、運が悪かったね、と。
責任追及はしないでいいから原因究明と対策をとろうよ…。
かといって、「UNIX入門」まで含めた詳細に記述したものを書くなら
それなりに予算とか教育とか担保が必要だけど、そうはいかない。
内部的ドキュメンテーションの必要さを解ってるベンダーなんて、
一体どれくらいるでしょうかね。
で、ミドルウェア一つとっても分厚いマニュアルが存在するケースが
あったとして、それをどんな時にどこを見ればいいか解ってる人物を
置いているのかっていう。
電子ベースで納品されて、索引と検索がしっかりしていればいいんだけど、
そうなると既に一つのシステム構築費になってくるし・・・。
で、なんでそんな会社でも技術あると言われるかっていうと、
顧客に見えるところを「安く」それなりに「安定して」作れるし
親方日の丸的系列の力で我侭も聞いてくれて「安心」するからですね。
要するに、発注した個人にとって傷がつくような仕事をしない
オープンまで漕ぎ着ける「信頼」があるからです。
つまり実は技術力より営業力に寄る所が大きいということ。
127(略)氏の「運用フェイズ」の信頼まで勝ち得ようとするベンダーは、
現実の範囲で誠実に仕事を遂行してくれますが、発注者もシステムに
関心を持ってくれるマニアックな担当者が居ないと理解してもらえません。
運用フェイズにかかるコスト、技術力の蓄積に関心があるベンダーが普通なら、
団塊世代の退職で慌てることなんかない訳ですよ。
しかも、俗人化したおかげで団塊世代は未だに嘱託として働けてる訳ですからね。
少なくとも日本の名だたるベンダーにおいては、隠匿こそ正義という文化が根付いていることは、
127(略)氏の理想とは裏腹に、今そこにある現実なんですよね。
＃あーあ、冗談というか、茶化しで終わるつもりだったけど愚痴ってしまった
Re:ま、まさか (スコア:1)
こっちが想定してる「最悪」が、実は一番easyな復旧だったりもする訳で。
# 全部壊した状態からスクリーンショットに赤丸付きで手順書作った所で
# それが運用してる人にとって分かりやすいものだとは限らず。
# 何のためのレビューなんだか。
Re:ま、まさか (スコア:1)
一人ぐらい現場に居ると、マニュアルの大切さがよく判ります
えぇはじめてみた時はある意味カルチャーショックでしたよ
あれを基準にマニュアル作らないとダメなのかと愕然と(苦笑)
Re: (スコア:0, オフトピック)
サル呼ばわりはないでしょう、いくらなんでも。
表現が不快。
Re: (スコア:0, おもしろおかしい)
いちいち自分が不快だと言う事を表明するあなたが不快。
でも、なぜ不快になるかが興味ある。
・自分が言われた側である(サル)
・知り合いがサル
・I love monkey!
・祖先がサルだった
あとなんだろうなぁ・・・
Re: (スコア:0)
もしくは、関連記事にもある"バックアップにならないミラーリング"構成で、
構造が破壊された状態のデータベースを論理的に"バックアップ"したために復旧に使えなくなったとか…
#バックアップから復旧させようとしてバックアップに壊れたデータベース上書きしちゃいました、とかだったり…
#さすがにないか。
仮想マシンの設定でもミスしてたんじゃない？ (スコア:1, すばらしい洞察)
データベースとバックアップサーバはそれぞれRAIDを使っていたとして、全部一度に故障するってどんだけレアな確率だよ。仮想マシンの設定をミスっていて、全部が同じHDDに書き込まれていたという落ちな気がする。
＃でもNTTデータのプライアドにかけて、そんなことは言えないんだきっと。
Re:仮想マシンの設定でもミスしてたんじゃない？ (スコア:1, おもしろおかしい)
>＃でもNTTデータのプライアドにかけて、そんなことは言えないんだきっと。
「プライアドってなんだよ！」とググったら [google.co.jp]
プライアドの検索結果 9 件中 1 - 9 件目
な上に、このページが三番目に表示されたのでワロタ
ポルトガルのホテル名にもプライアドがあるんだが………
Re: (スコア:0)
ていうか、Googleの/.クロール速度は異常。
ストーカーとしか思えん。
Re:仮想マシンの設定でもミスしてたんじゃない？ (スコア:1, 参考になる)
> 全部一度に故障するってどんだけレアな確率
今は亡き（取り扱ってないという意味で）ぷらっとホームの2Uサーバで、6台中3台のHDDが同時に
壊れるという未曾有の事態に遭遇したことがあります。
確か4〜5年使用してたもの。
稼働中の同型機4台についても、可及的速やかにリプレース計画が立ち上がりました(汗)
# 何となくAC
Re:仮想マシンの設定でもミスしてたんじゃない？ (スコア:1, 参考になる)
>6台中3台のHDDが同時に壊れるという未曾有の事態に遭遇したことがあります。
私もRAID5で8発中3発が同時に壊れたことがありました。
(原因は電源の容量不足で同時にHDDの回転数が落ちたため)
バックアップを取っていなかったので、データリカバリー会社に相談したんですが
全セクター吸出し&再構築で300万円という見積もりが帰ってきたので
セクタエディタ使ってRAID情報書かれているセクタ解析して、自力で復旧させました。
(Failedのフラグが立ってる箇所を強制的に正常に書き換えてDegradeにしてそっこーバックアップ)
もう10年近く前で若かったから解析できたけど、今ならたぶんあきらめてしまうと思う。
Re: (スコア:0)
メインサーバーとバックアップサーバーが同じ RAID を共有していた上に、
警報が鳴っても無視、再起不能になるまで放置、なんてアホな現場を一度だけ見たことがある。
最近多いんですよ (スコア:1, 興味深い)
実際は「管理に手間がかかるから止めちゃえ！」なんて事だったりして？
いや・・ あくまでも憶測ですがね。
ここ数ヶ月の間に、予告無くサービスを停止されて回収不能なデータが山ほど有ります。
もちろんバックアップなんて有りませんよ！
もちろんなの? (スコア:0)
ほんとうにもちろんなの?
誰か言ってあげて! (スコア:1)
とか誰か言ってあげたらと思うのだが。
サーバー室で (スコア:1, おもしろおかしい)
仕込んでいたドブロクが
国税局にバレたに違いない。
#サーバ廃熱仕込み、熟成年数不明。ほんのりデスマーチの香り。
NTTデータだけに (スコア:1)
Hinemos [hinemos.info]はちゃんと監視してたのだろうか？
どっちにしろ、復旧後の中の人の声 [doblog.com]に注目ですな。
#ちょっと昔、自作のNagios-Pluginが障害発生してるのに障害検知してなくて、
#色々泣いたり泣けたりした思い出が浮かんだ…
一週間 (スコア:1, おもしろおかしい)
火曜日に対策始まる
水曜日はお風呂に入れず
木曜日の帰宅は午前さま
金曜日はまだ復旧せず
土曜日は上司の愚痴ばかり
日曜日は何事もせず
月曜日がまたやってきた
---
もちろん「一週間」のフシでどうぞ。
もしかして： (スコア:1, すばらしい洞察)
何所でも表示されるな (スコア:0)
http://www.doblog.com/Hacked_by_AnonymousCoward_not_from_the_Slashdot_Japan [doblog.com]
http://www.doblog.com/Hacked_by_Chinese_Super_Hackerz! [doblog.com]
http://www.doblog.com/OMG!_Doblog_is_a_Dead?!_My_Diary_is_Missing_Help_NTT [doblog.com]
Re:何所でも表示されるな (スコア:1)
逆に「有効なパスを識別してそこだけ表示」とかやるのは面倒（PATH_INFO使ってるとそもそも不可能）だし、"/" しか表示しないは不親切。
ただ、200 OKじゃなくて503 Service Unavailableとかのステータスにしてクロールを防ぐけど。
Re:何所でも表示されるな (スコア:3, 参考になる)
Re:そんなにひどいblog屋かなあ (スコア:1)
利用者から見れば1週間経っても復旧のめどが立たないサービスなんてのは
使えないし使わないよ。
現場の責任や上がどうのとか、中がどうなんて関係ねぇよ。
これを客商売としてやってるつもりがないんなら客は他に流れるだけじゃね?
無料サービスだから手を抜いていると思われても仕方ないだろ。
一週間復旧しないサービスをよろこんで使う客がいるか?
中の人はがんばってるんです、がんばってるんですけどダメなんですよ
解ってください・・・
って、どんだけぬるい視点なんだ。
Re:そんなにひどいblog屋かなあ (スコア:1, 興味深い)
「手を抜く」という表現を編集無しでそのまま載せてしまう /. もどうかとは思いますが。
これだけ長期間の障害だとブログサービスが本業の企業では死活問題になるでしょう。
もし Doblog が NTT データの生命線となるサービスであったら、こんな状況にはならなかったでしょうし、対応も迅速で丁寧であったはず。
そういう意味では、脇の甘さを指摘されても仕方がないかと思います。
Re:そんなにひどいblog屋かなあ (スコア:1)
Webサービスが一般化してたかだか5,6年とおっしゃりますが，
むしろもうそんなに経ったのだという思いです．
それはさておき，サービス停止になったモノって結構あるような気がします．
最近だとヨドバシカメラとか，ちょっとまえにNiftyのココログが
結構延々とサービス停止状態になっていたような．．．
とはいえ，復旧作業中の人に対して「無料だから手を抜いている」という台詞を
根拠レスで言い放つのは，編集者としてあるまじき言動だと思いますね．
そうじゃないだろう！
Re:そんなにひどいblog屋かなあ (スコア:1, 興味深い)
Niftyのココログの場合は、どのくらい酷い目にあうかを味わうためにアカウントを保持するというナニな方もいらっしゃるとか。
定期メンテの案内が出ると、再開はいつになるかを見守るのが通らしい。当然、経過は別のブログサイトで言及され続けるそうな。
Re:サービス開始当初から重かった (スコア:2, 参考になる)
昔は今以上に重かったですよね…。
独自エンジン＋出たばかりのPostgreSQL Forest使用なんて無茶な構成だったんで、
故障や停止も何度も何度も…。
挙句はサーバ負荷が高いと言う理由でザイーガ追い出しちゃうし。
当時のブログの中ではコミュニティの機能が充実していて、
なぜかDoblogユーザ同士の結束って堅かったんですよね。
そこが「壊れても止まってもやっぱりDoblog」と言わしめたぐらいでしたが、
あまりの対応の悪さに当時の人たちはほぼ外に出て行ってしまいました。
＃もうDoblogは止めてしまったのでID。