データセンターの電源トラブルで楽天ペイと楽天カードが一時使用できない状況に 74
ストーリー by hylom
一極集中なの 部門より
一極集中なの 部門より
九州電力子会社で通信回線の提供やデータセンターの運営などを手がけるQTnetが11月23日、同社データセンターで電源設備トラブルが発生したと発表した。同日中に電源設備は復旧したが、この影響でデータセンターを利用していた顧客のシステムが停止する事態となっている。
同社データセンターは楽天ペイや楽天カードが使用しており、この影響で23日よりこれらのサービスの一部が利用できない状況となっていた（ケータイWatch）。
この障害は23日中に復旧していたが、25日になり再びトラブルが発生したという（ITmedia、産経新聞、朝日新聞）。
また、achika_j_kuonji曰く
11月23日に楽天カードおび楽天ペイが使えなくなった不具合（NHK）が、ヴィッセル神戸主催試合では完全キャッシュレス化されるノエビアスタジム神戸を直撃したようだ。（ドメサカブログ）
なお楽天Edyと楽天カード以外のクレジットカードは使用可能だったらしい。
チョークポイントの露呈 (スコア:2)
九州電力だけにキューっと (スコア:0)
※座布団全部取れ！
Re: (スコア:0)
可愛くない奴め！！
Re:九州電力だけにキューっと (スコア:2)
免震ビルで安心だし！ってQICの説明会で教えてもらいましたが
電気設備でチョンボするなんて。。。あ、九電工の。。。誰か来たようだ。
金融機関として失格 (スコア:2, すばらしい洞察)
仮にもお金を扱う事業者なのにＤＲサイトも用意してないってどうなってるんだよと。
金融庁が介入せざるを得ない状況を自分から作りに行くバカってこういうのを言うんだね。
Re:金融機関として失格 (スコア:2, すばらしい洞察)
まあそうはいっても、消費者も、楽天はこんなもんと納得する程度のブランドでしょ。
決済手段で楽天しか用意していない消費者なんているの？事業者はいたっぽいけどアホだよねー。
Re:金融機関として失格 (スコア:3, おもしろおかしい)
楽天的な人達でしょう
Re:金融機関として失格 (スコア:1)
ある意味最強だよな楽天
なにやっても「まあ、楽天だし」で片付いちゃうもん
他だったらSNSで罵詈雑言が飛び交ってる
Re: (スコア:0)
イーバンクやあおぞらカードやビットワレットやフュージョンコミュニケーションズと契約したはずなのに、
いつの間にか日本最低ブランドと契約させられてる立場は一体どうすれば・・・
Re:金融機関として失格 (スコア:2, 参考になる)
楽天グループ入りした時点で契約を打ち切ればよろしいのでは
Re:金融機関として失格 (スコア:1)
Re:金融機関として失格 (スコア:1)
自然災害ではないのでDR対策はしてても有効ではなかったのでしょうね。
Re:金融機関として失格 (スコア:1)
そうか、実際はテロによる影響も考慮されてますね。
修羅の国が近いと色々ありそうだし。
Re: (スコア:0)
所詮カード会社。DRサイト? なにそれ? おいしい?
もし止まったのが楽天銀行だったら色々と関係者がタヒぬ。
富士通データセンターにて大規模障害" [publickey1.jp]
館林なんて大っ嫌いだ!
絶対にACで。
Re: (スコア:0)
DRサイトは冗長用ではなく、本番サイトがテロや災害で機能しなくなった場合に備えてのバックアップ。
そして、いざDRに倒そうにもDR側に人員を常駐させていないから操作できなくて倒せないという罠。よくある。
Re:金融機関として失格 (スコア:1)
まあ、自動的にDRサイトに切り替わることで、GitHub [developers.srad.jp]みたいに事故ることもあるからね。
今回みたいなのに対応するんだったら、プライマリ+バックアップ(近くのデータセンタ)+DR(遠くのデータセンタ)の3DC構成を組むべき
Re: (スコア:0)
めっちゃ正しい構成だと思うけど、それクラウド無しに組むとどのくらいの費用になるんだろう。バックアップのDCは言わばAZだから高速接続必要だろうし。
ここ最近、AWSとかの障害がニュースになってたけど、オンプレでも事故るときは事故るし対策も費用かさむよなぁ。
Re:金融機関として失格 (スコア:1)
今回のQTnet(Qic)の事例で言うと福岡市内に後2カ所サイトがあるので
https://www.qtpro.jp/cloud/qicdc/ [qtpro.jp]
市内をダークファイバーで引き回せばマルチアベイラビリティゾーン構成はどうとでもなる
Re:金融機関として失格 (スコア:1)
回線を奢らないとデータ同期ができないし、
遅延同期でオンライントランザクション処理を切り替えるには
それなりのアプリケーション設計しないといかんからね。
まあ、AWSのマルチリージョンでも高速オンライントランザクションは
無理なので、クラウドDRでも事情は一緒ですが。
Re: (スコア:0)
今時、DRというかクラウドでマルチリージョンとか下手したらソシャゲーでもしてるしなw
むしろ、金融とかクラウド移行してない会社の方が危ないんじゃね？
Re:金融機関として失格 (スコア:1)
ソシャゲーといえば、ミリシタのサーバーがやたら金掛けてる話を講演で聴いて、
そんだけサーバーに金掛けられるくらい儲かってるんだなと思った。
（詳しくは「ミリシタ運営術」で）
Re:金融機関として失格 (スコア:2)
止まった時の補償を考えると、サーバーとかの運用に金かける方が安上がりって判断しただけのような気もする。
そこそこ儲かってなけりゃ出来ない判断ではありますが。
Re:金融機関として失格 (スコア:1)
サービス開始からミリシタやってるけど、2年半サービスしてて消費税切り替えで課金系が停止(ゲーム自体は止まってない)したことあったくらいで、あとは定期・緊急問わずメンテナンスによる停止が無いんですよ。
あれは設計と運用がかなりしっかりしてないと出来ないと思うわ。
「大規模通信障害、基本的にうちではあり得ない」 (スコア:1)
https://www.itmedia.co.jp/mobile/articles/1902/08/news027.html [itmedia.co.jp]
「通信」障害じゃないからセーフ？でも楽天銀行でも大きい障害出してたし、ブーメランだよなぁ。
Re:「大規模通信障害、基本的にうちではあり得ない」 (スコア:2)
楽天カードと楽天payと楽天のサイトのどれにも今回の件に関しては一切何もないですから無関係と思ってるみたいですね
楽天でんき (スコア:1)
https://energy.rakuten.co.jp/electricity/power/ [rakuten.co.jp]
楽天でんきにしておけば安心の楽天ブランドで安定した電力供給を受けられたのに。
Re: (スコア:0)
既存の電力会社も新興電力会社も、送電・配電網は同じのをつかってるので、
原理的に信頼性はかわらないけどね
携帯3大キャリアとMVNOみたいな関係？
Re: (スコア:0)
MVNOの通話部分は新電力と似てるけど、肝心の帯域をキャリアに絞られてるからデータ通信の信頼性は皆無。
12時台にまともに通信できるMVNOはUQmobileしかない。
多分嘘 (スコア:1)
現在電源設備は復旧しておりますが、サーバ・ネットワーク機器の正常性は現在調査中でございます。
バイパス回路に切り替えただけで、修理待ちだろうね
そのうち修理後に計画停止と切り替えがあるだろう
無瞬断のSTSがあれば別だけど
これってカードサービスだけなの？ (スコア:0)
楽天カードのページにログインしに行って生年月日認証繰り返した挙げ句
リトライエラーくらったっぽいけど、そこの飛び先が今調子悪い的なエラーページでした。
週末、楽天Edyとやらを使わないといけない羽目になり、Webページ見に行ったんだけど、
EdyがらみのQ&Aページも同様の今調子悪い的なエラー出るリンクがちらほら...
Re:これってカードサービスだけなの？ (スコア:3, 興味深い)
逆に楽天カードしか話題にならないのな。
>影響範囲
>楽天カード株式会社、福岡県庁、九州電力株式会社を含む約260社
Re: (スコア:0)
悲しいけど田舎なんてそんな持たのでしょう。
Re: (スコア:0)
サーバや通信装置に無停電電源装置つけないのかな？
常用電源から予備電源に切り替わる瞬間に一瞬電源が失われる仕様なら、下流にUPSつけなきゃ意味ないじゃん。
Re:これってカードサービスだけなの？ (スコア:3)
第11報を見ると、
とあるから、UPSを(たぶん設備寿命とかで)交換するためにバイパスに切り替えていた隙に商用が切り替わっちゃったってことではないかしら。
このデータセンタの電源設備の設計の要件には二重故障のカバーまでは入ってなかったと。
Re:これってカードサービスだけなの？ (スコア:2)
タイミングがちょうどすぎて、「電源設備更新作業」で派手にやらかしたんじゃないか？と疑いたくなる。。。
Re:これってカードサービスだけなの？ (スコア:1)
ごりっぱなサーバーラックに入れている割にはUPSがショボい上に警告ランプつきっぱなしなバッテリー交換されていないものばかりだったのでは。
# バッテリーは消耗品
Re:これってカードサービスだけなの？ (スコア:1)
データセンターは無停電電源も含めたサービスなので、UPSを設置するケースはまれです。
会社のサーバールームと違って、電源は無停止が前提です。
Re:これってカードサービスだけなの？ (スコア:1)
データセンターは無停電が基本だし、全体の電源容量とか計算の上で設計してる。
UPSは効率が悪く、サーバーや通信機器が必要とする電力以上に消費してしまうから、各ラックにUPSなんて設置された日にゃ電源容量が足りなくなるよ。
それにUPSの障害って意外とあるよね。
わざわざ単一障害点を直列に増やさなくてもいいと思うけど。
データセンター内だと、UPS設置していて助かったケースより、UPS設置していたせいで障害になったケースが圧倒的に多いと思うよ。
意識が高すぎてぶっ飛んでる人は知らないかもしれんけど。
Re: (スコア:0)
サーバごと・ラックごとにUPSつけても、UPS障害でシステム停止することはまれにある
小規模UPS障害はニュースになるような大規模なシステム停止につながらないので、
あっても報道されないだけでしょう
Re:これってカードサービスだけなの？ (スコア:1)
冗長構成されている電源でも、(たまたま)両方ダウンするというのもありますからね。
Re: (スコア:0)
QTnetなんて、地元企業以外に知っているのはLoLのファンぐらいだよ(のスポンサー)。 [sengokugaming.com]
……次シーズンはほぼ全員交代かよ！
Re: (スコア:0)
九州にデータセンターがあったんだけど別地域にはバックアップセンターは無かったんだな
Re: (スコア:0)
お買い物マラソンの期間限定ポイント（今晩まで有効）をコンビニで消化しようと思ったら「緊急メンテナンス」出てたものなあ
オフライン決済可能なFelicaの利点がまた一つまざまざと (スコア:0)
規格上はEMV ICクレカもオフライン決済可能なんだけどマトモに実装されてる端末無いんだよなぁ。
やっぱFelicaつえーわ。
Re: (スコア:0)
自分が触ったことある端末だとオフラインで承認取ってから決済までの手順が怠すぎて二度とやりたくないと思ったわ
電話承認のが手順教えてくれるからまだ楽
Re: (スコア:0)
Squareはオフライン決済対応してなかったっけ
まだFeliCa対応してないから日本では人気ないけど
Re:オフライン決済可能なFelicaの利点がまた一つまざまざと (スコア:1)
コンビニの交通系カード決済ってセンタまで行ってるんだっけ？
あれだけぐちゃぐちゃなショッピングモールだもの (スコア:0)
決済システムの信頼性も推して知るべし
カード審査も推して知るべし
いつの間にかポイント消えるし
# マテ
遠隔バックアップサイトないの？ (スコア:0)
日本最大の総合e-commerce企業でもそんなもん？
Re: (スコア:0)
リミッター解除して世界最速を謳ってる新幹線に似たやり方なのでそんなもん。
何かあっても埋めりゃーいいんだよって発想。