Heroku のクラウドサービスで問題が発生した Skeb、他のクラウドサービスへ移管して 24 時間以内に復旧 80
ストーリー by headless
復旧 部門より
復旧 部門より
route127 曰く、
有償で作品制作を依頼できるコミッションサービス Skeb が Heroku のクラウドサービスを利用できなくなり、Heroku および 代理店 の Salesforce Japan から情報がなかったため他クラウドサービスへ移管した (Skeb の告知[1]、 [2])。
開発用コンテナイメージを利用したことで、移管の決定からサービス復旧まで 24 時間以内に行われた。
障害発生中に障害対応手当制度新設 (スコア:3, 興味深い)
【復旧】12月23日、24日に発生しました障害に関するご報告 - skeb_jp - Medium [medium.com]
今回の障害をきっかけに、2023年1月より、夜間に障害が発生し作業にあたった従業員に対し、深夜残業および休日出勤による法定割増賃金に加え、3万円の現金を支給する「障害対応手当」という制度を新設しました。
今回の障害は制度新設前であったため、手当ではなく福利厚生の一環として、エンジニア4名に対し1人あたり3万円のAmazonギフト券を夜間直ちに支給しました。
他クラウドサービスへの移管をすぐに決定できるのもすごいけど、
福利厚生の制度新設を障害発生中に決定してるってのがすごい。
このスピード感 (スコア:1)
12月23日12時22分 障害発生
12月24日07時00分 復旧
12月24日13時00分 復旧公表
12月25日15時47分 スラド掲載
おしい (スコア:1)
もう一分頑張って
12月23日12時23分 障害発生
にならなかったものか
Re: (スコア:0)
スラドにしては掲載が早いな。ちなみにタレコまれたのは12月24日22時55分
https://srad.jp/submission/102084/ [srad.jp]
Re: (スコア:0)
確かにスラドが48時間以内のネタを掲載するのは早いですね ()
クリスマス (スコア:0)
海外サービスということで、年末というよりクリスマスに近かったのが不運だったのかも。
イブの前日辺りから全社休みとかありますし。
しかし、クラウド運営会社から迅速にデーター回収に成功したのは凄いというしか。
外資系クラウドはマジでヤバい (スコア:0)
こんな風に説明もなく障害が発生して説明も無し、突然「契約が終了した」等と言われるようだと
今まで外資系クラウドやサービスの利用は事なかれ主義的に曖昧にデータが海外だ個人情報だとか
雑にザックリ「リスク」があるとか何とか言われてたのが
「日本企業が米国系サービスを利用するケースにおいて、先方管理職レベルの政治的指向などによる
とみられる、意図的なサービス障害や、事前通告なしの契約打ち切りなどの実例が報告されており、
採用は事業継続性の観点から問題がある」程度のちょっとマジな話にならん?
つーかクレカ会社の優越的地位利用とかも同じ話だし、親会社のセールスフォースも傘下で当事者の
HerokuはGAFAMには入ってないけど、国内では採用例が多い会社で、結構影響広いんじゃね?
SaaSのBANって法規制が必要なんじゃね? 国産化国有化も必要な可能性ない?
Re: (スコア:0)
ISMAP(政府情報システムのためのセキュリティ評価制度)に登録しているSlackもSalesforce傘下だな
Re: (スコア:0)
国産化国有化も必要な可能性ない?
単純な国のお仕着せでは腐るのが目に見えているな。日本出自の優れた人材が自らの競争力を持ってその地位を獲得しなければ。
Re: (スコア:0)
それができるなら、日本のITもここまでの体たらくにはならないでしょう。
仮にそういう優秀な人物がいても出る杭は打たれるのが日本だし。
Re: (スコア:0)
それではあきらめるしかないでしょうね。
Re: (スコア:0)
国有化はともかく、大手ネット企業はだいたいオンプレ持ってるし国産化率は低くないよ。
机上の空論 (スコア:0)
政府共通プラットフォームというのがあったけど誰も使わないので廃止になったんですよ
https://it.srad.jp/story/21/08/29/1844209/ [it.srad.jp]
Re: (スコア:0)
利用すると波風が立つ仕様だったんだろうな…
Re: (スコア:0)
これって国内クラウドに移行したことは確実なんでしょうか。
ドメインの割り当てはFastlyのCDNのようですが、リアルサーバはどこなんでしょう。
Fastlyと連携性が高いとなるとIDCFクラウド?
下話題にある福利厚生もそうですが、サービスの開発運用の地力が高いんですね。
Re: (スコア:0)
オフィシャルの発表見落としていました
>移管によって日本国内に設置されることになりました。
もとからFastly使っていたんですね。
Re: (スコア:0)
単に、AWSの東京リージョンに移動しただけだったりして。
Re: (スコア:0)
> 外資系クラウドはマジでヤバい
それは確かだと思うけど、国内系クラウドがヤバくないかというと...
代理店のSalesforce Japan (スコア:0)
これいる? (HerokuはSalesforceに買収されているので単純な中抜き業者ではないが)
Re:代理店のSalesforce Japan (スコア:1)
代理店が代理店としての仕事をしないのであれば、上乗せした金額で代理店と契約する意味がない。契約を見直す材料になるので周知されるべき。
Re: (スコア:0)
契約にもよると思うけど。
うちも国内代理店を経由して海外サービスを契約しているけど、為替予約的なものとクレカ払いを掛け払いにするのがメインで技術サポートは直接の契約あるから。
Re: (スコア:0)
日本語で問い合わせ出来るのは、それなりに嬉しいのでは?
働かないのなら意味は無いが。
Re: (スコア:0)
> 日本語で問い合わせ出来るのは、それなりに嬉しいのでは?
何の役にも立ちませんでしたけどね。
Herokuに問い合わせてみましたけど返事が来ませんでした!いかがでしたでしょうか?
Re: (スコア:0)
Herokuに直接問い合わせてくださいの時点で結局英語が必要になってる
マジで何の意味もない
フロントはNuxt.js SSR(っぽい) (スコア:0)
もともと移行は想定してたにしろ、中の人はお疲れ様ですな
中身はモノリシックな2層構成で、DBはHerokuのPostgresとかだろうか?
それなら移行先はFargateとかCloud Runでなんとかなる気もする
Re:フロントはNuxt.js SSR(っぽい) (スコア:1)
開発用コンテナイメージを使っていたのは移行を想定していたわけではなく別の理由によるもので、移行はぶっつけ本番だったそうだぞ
Re: (スコア:0)
他クラウドサービスを使うにしても、そのサービス業者と契約する必要があると思うけど、そんなに短時間で契約できるもんなの?
Re: (スコア:0)
クレカ1枚あれば使い始められるので簡単は簡単ですよ。
あとは各社の社内手続きがどうなるか次第でしょうね。
ウチの会社だと少なくとも1ヶ月から1.5ヶ月くらいかかりそう。
リソースの見積りをして、相みつとって、契約書チェックにかけて、クレカの使用申請かけて、とかとか。
Re: (スコア:0)
さくっと移行できる技術力があるなら、わざわざレイテンシとコストの高いHerokuに居続けるメリットがないでしょ。
そもそも技術的負債として認識されてたのでは?
契約プランが悪かったんじゃないの? (スコア:0)
標準のstanderdプランなら、サポートは平日12時間のみで対応時間の保証もなし
Premiumプランだったら、それなりに優先チャンネルがあるみたいだけど、それを知らなかった?出来なかった?のだろうか
Re:契約プランが悪かったんじゃないの? (スコア:1)
そもそも社長の個人Twitterで「エンタープライズ契約をするくらいには移行は考えていませんでした。今回はぶっつけ本番訓練なしでした。」って書かれてる。
素直に読むならHerokuのEnterpriceを契約してたでFAでは。
https://twitter.com/nalgami/status/1606618104909660161 [twitter.com]
まあStandardであったとしてもこの対応はやばいと思うけど。
Heroku使い続けてた人ならわかるとは思うんだけれど、Salesforceに買収されたあたりから色々変わっちゃったよねって感じはしますよね。
僕はHerokuをまだ少しは信用してるから公式発表を待ちたいですけれど。
Re:契約プランが悪かったんじゃないの? (スコア:1)
// entry-level price
Re: (スコア:0)
「【復旧】12月23日、24日に発生しました障害に関するご報告 [medium.com]」をみりゃわかることなのになぁ
厚いサポートを謳うエンタープライズ契約 [heroku.com]を締結しているにも関わらず、このような対応は大変遺憾です。
Re: (スコア:0)
それはクライドサービスの契約で、サポート契約にも2種類ある。
サポート契約がPremiumプランだったのなら、掲載されたサポート内容と相違があるって批判が出来るけど
エンタープライズ契約なのだから、手厚くサポートされて当たり前みたいな書き方をしている点が気になっている。
Re: (スコア:0)
障害発生時は日本でも本国でも平日ですよ。
仮にサポートがStandardでも、サポートにも営業にもコンタクトできない(応答がない)のはまずいでしょ。
Re:契約プランが悪かったんじゃないの? (スコア:2)
"エンタープライズ"とは"Standard"という意味であろう、きっと時差があって営業時間外であろう、あるいはSLAの範囲内であろう、よしんば契約上保証されていてもその保証時間内であろう……と、応答がなかったことを正常動作と決め打った上でアドホックに説明を付け加えてるのは意味が分からないですよね。オッカムの剃刀(必要以上に多く仮定すべきでない)に反する。必要以上に仮定が必要ならば主張が間違っている蓋然性も上がるというか。
異常だとしても課金処理のミスとか担当者の不在とか色々あるわけで、ここで擁護に走るのは迷惑な逆張りと言ってよいのでは。
Re: (スコア:0)
仮にstandardなら、そういう対応しか出来ないのは当たり前なのでは?
Premiumサポートってそういう緊急対応できるサポート体制なんだから、緊急時だけタダ乗りさせろっていうのは無理でしょ
外資系だから厳格だと思うよ
Re: (スコア:0)
平日昼間の障害だからstandardの範囲だって話なんだが。
Re: (スコア:0)
Heroku自身ががエンタープライズ契約の内容としてサポートにも言及しているのだから当たり前だろ
Re: (スコア:0)
Heroku直契約だと2種類だけどSalesforce経由だと3種類だな
お客様のビジネスに最適なSuccess Planを見つけてください | セールスフォース・ジャパン [salesforce.com]
Re: (スコア:0)
https://jp.heroku.com/pricing [heroku.com]
ここでプロダクション以上を選ぶとPremium Supportになるしエンタープライズを選ぶとEnterprise Supportになる。Premium以上のサポート契約なのは確実
Re: (スコア:0)
ていうかわざわざ調べなくてもSLAのつかないエンタープライズプランなんてあるわけないだろ常識的に考えて。
Re: (スコア:0)
SalesforceのStandard Success PlanがSLAのつかないエンタープライズプランだと思うけど
出来すぎた話 (スコア:0)
ツィートにもあったが、事前に何かあった上での結果ではないかというのもあながち嘘ではないのかも。
Re:出来すぎた話 (スコア:1)
何のツイートの話だよ
「何か」って何だよ
まあ普通はクラウドBANされたらデータ取り出せないからな
という特殊な死に方だったから出来たことなんじゃね
Re: (スコア:0)
騙されやすい人で、何のツイートとか言われても分からないんじゃない?
「文章が表示でツイッタアーの画面に出て来た」程度でしかソースを把握してなさそう
Re: (スコア:0)
これのことかな。
https://twitter.com/akuochiken/status/1606884993883865088 [twitter.com]
アカウントBANの原因は? (スコア:0)
肝心のHerokuからの返答がないうちは答え合わせできないけど、2次元スケベピクチャーが欧米基準でアウトだったんですかね
それとも3次元のヤバいブツの取引に使われてたとかですかね
Re: (スコア:0)
> 3次元のヤバいブツの取引に使われてた
それはピクシブですね
Re: (スコア:0)
まあ欧米企業ってそうだよね
「アジア」の文化が欧米に入ってくるのは「文化盗用」か「人倫に反する行為」
# って風に断絶こじらせてるとまた45年頃には焼け野原にならんか