スラドに聞け！クラウドサービスの設定ミスでコスト超過はある？ 59
ストーリー by headless
超過 部門より
超過 部門より
あるAnonymous Coward 曰く、
AWS や Azure などのクラウドサービスを使うことが当たり前になっているが、ラック社では設定ミスで請求がとんでもない金額になったという (LAC WATCH の記事、 Cloud USER の記事)。
エンジニアが自由に試せる検証環境で発生したトラブルで、JSON 形式の Okta ログを Lambda でダウンロードして S3 に配置し、配置を検知して CSV に変換するものだが、ルール設定の考慮漏れで変換後の CSV を検知して変換を繰り返す無限ループ状態に陥った。本来は 1 日 1 回行うはずだった処理が 1 分に 160 万回以上発生したことで約 300 万円の請求が確定してしまったという。
検索すると設定ミスで高額請求の顛末が散見されるがスラド諸氏のやらかし事例はあるだろうか。
金額は大したことなかったけど (スコア:1)
AWS S3 ログを、それと同じバケットに保存したら無限ループになった
未使用IPアドレスプールしっぱなしで (スコア:1)
GCPで毎日30円ずつ取られてたことがある。
家庭内の予算に関する会議において、
それは自己負担ですねってことになった。
屍体メモ [windy.cx]
歴史は繰り返す (スコア:0)
テレホーダイ時代の話する？
Re: (スコア:0)
それな
ISDNで会社の支店で役職数名くらいでダイアルアップさせてメール使い始めた頃の今は昔だけど
Eudoraのメールチェック間隔を5分とか設定しやがってINS回線つながりっぱなしで通話料金の
請求書の金額見てめんたま飛び出るとか
Re: (スコア:0)
テレホーダイより少し前の時代、関西から東京まで電話をかけリモートログインをしたまま裏で作業をして忘れたことがあります。
ふとエンターを押したらシェルのプロンプトが出てきて冷や汗も出てきた思い出。
Re:歴史は繰り返す (スコア:1)
東京-大阪なら1時間で1万円位だったかな。
ここ10年位の新入社員さんは、固定電話が距離に応じて料金が違うということを知らない人が多い印象がある。
今は長距離電話もそこまで高くないし、2024年からは定額化されるので、地方拠点の人も電話代を気にしなくていいと思うけど。
Re: (スコア:0)
テレホーダイは使ってませんでしたが、ダイアルアップルータでえらい目見たことがあります。
Windowsが定期的に何かを投げていてそのたびにISDNにつなげてNTTから10万円を超える請求がきて泣きました。請求が来て設定を見直したのですが、結局当月もすでにかなり過ぎていて二か月で20万円を超えたと思います。
たしかOCNエコノミーという名前だったと思いますが、常時接続の線を引きたいとNTTに掛け合いましたがイナカすぎて断られました。それでも村で何か所か引けば自宅にもひけると期待したのですが村役場とか教育委員会に提案しても当時はそういうことは理解してもらえませんでした。プレゼンの能力が低かったのだとも思いますけどいまだに残念です。隔世の感のある25年くらい前の昔話です。
Re: (スコア:0)
それ会社でやったことがある。
まだダイアルアップの時代、ルーターかWindowsかわからないけど定期的に接続要求が発生して月に100万電話代の請求が来た。
システム入れたのがＯ塚商会で、いろいろ調べたけど結局接続要求の出元は不明でネットワーク機器全入れ替えで解決したそうな。
会社は100万払ったみたい。
こちらも約25年くらい前の話し。
Re: (スコア:0)
ドコモのDopaを使った機器をWEBサーバ付き開発してたんだけどFTPでトレンドデータがとれるようになっていて、ある客先が山の奥に設置していて電界ギリギリところでリトライパケットが膨れ上がり毎月20万超えの請求が来てたたらしい。役所が抗議して八木アンテナを立てたと聞いた。
そもそも (スコア:0)
円安のせいでAWSの請求が想定外になったんやが
Re: (スコア:0)
東京リージョンつかってたら円建てできたのに。
Re: (スコア:0)
それは対策にならないよね。AWSの円建て（というか米ドル以外）請求での為替レートは日々実勢に合わせて変動するでしょ。
Re: (スコア:0)
円高の時も同様のコメントされてましたか?
AWSの支払いしたことないのでは?
Re: (スコア:0)
140円台なんてとんでもないレートが定着したら国内クラウドに移すところも増えるだろうな
時代が5年くらい巻き戻った気分になるが。
Re: (スコア:0)
元から価格で比較検討してるところは、AWSなんて選んでない。
Re: (スコア:0)
国内クラウド業者だって電気代の値上げを反映せざるをえないでしょ。資源小国の辛いところ
Re: (スコア:0)
電気代だけじゃなくて、サーバやネットワーク機器代もこれから上がるはず。
クラウド業者が使用する多くの機器は国内製造じゃないし、国内で組み立てて
いても部品は外国産がほとんどという機器が多い。
クラウド業者に現在すでにある機器は購入済みとしても、拡張とか更新も必要
なので、その時には値上がりした機器を購入する必要がある。
# 機器の拡張も更新もしないようなクラウド業者があったとしたら？
# 怖くて使い物にならない。
Re: (スコア:0)
ってかクラウドの機器なんて壊れる前提でソフトウェア層で冗長性確保してるから高すぎて機器更新が費用対効果に合わないと判断すればそのままでしょ。
まだ使える機材を更新する理由って更新した方が1台当たりの性能が上がって台数減らせるとか費用面の理由だよ。
Re: Re: そもそも (スコア:2)
ぜひ初年度に全部機材揃えてサーバが燃えようがビルが倒れようがDCが消滅するまで縮退以外の対応を取らない謎クラウドを運営して見せていただきたく。
ターゲットが狭い (スコア:0)
クラウドサービスの管理者だけって、回答者のターゲットが大分絞られてますね。
本質的には (スコア:0)
大昔にcgiをローカルテスト無しでサーバーで実行とかわらんかんじ
初心者に毛が生えた程度の驕りが原因だよね
# サーバー落とさないだけマシだけど
Re:本質的には (スコア:1)
むしろ落ちないから厄介
落ちてくれれば財布にダメージはない
Re: (スコア:0)
むしろ落ちないから厄介
落ちてくれれば財布にダメージはない
おいおいAWS領域まるごと落としたら賠償請求でもっと食らうんじゃまいか
Re: (スコア:0)
たった１人のチョンボでまるごと落ちるならAWSの脆弱性だ。
Re:本質的には (スコア:1)
大昔にcgiをローカルテスト無しでサーバーで実行とかわらんかんじ
違うんじゃね?
クラウドで動かすプログラムを、ローカルテストできる環境を準備できるか、って言うと難しいわけだし。
なので、クラウド上で本番環境と検証環境の両方を作って、検証環境の方でテストする、ってことになるんだと思うよ。
検証環境でも無限ループは発生し得るから、この問題に対する対策としては十分とは言えない。
Re: (スコア:0)
そもそも
>エンジニアが自由に試せる検証環境で発生したトラブルで
とあるように、問題が発生したのは検証環境。
多数の社員が自由に試せる検証環境なら、Budget設定で指定金額超過時のアラートくらい設定しておくべきだった。
ループにかぎらず、ec2のタイプ指定間違いなどの単純ミスで想定外の金額になってしまう危険性だってあるわけだし。
アラート飛べば、少なくとも5日間も待つことなく止められたはず。
Re: (スコア:0)
Cloud USERの記事を鵜呑みにすれば何もしてなかったわけではないようですよ。
それでも1日に150万というペースと、長期休暇でアラートを見る人がいなかった
というところが想定外だったようで。
でもラックのいいのはこういうところ。
Re: (スコア:0)
アラートは翌日には飛んで立って書いてありますよ。
ただしよりによって連休前日にやらかしたので、気づいたのが連休明けになってしまったと。
何かと話題のStable Diffusion (スコア:0)
webUIがあるやつはデフォルトでUIに認証がないから勝手に使われることがあるらしい。
円安で予算超過 (スコア:0)
ドルベースでは金額は大して変わってないのに、急激な円安のせいで予算超過している。
為替差損リスクは承諾済みだったのに、なかったことになって人事考課下げられた。
そもそも日銀が利上げするまで止まらないでしょこれ…
Re: (スコア:0)
利上げを拒んで日本経済を潰したがる奴らは、本当にどうにかしてほしい。
他の政治問題は全部目を瞑ってもいいから、これだけは何とかしてくれ。
コロナなんて比較にならないくらいの国家の緊急事態だよ。
Re: (スコア:0)
いやアメリカがドルする過ぎてインフレになっているのが原因なので、アメリカ以外もどうしようもできないよ
アメリカ以外のどの通貨でもドル高だぜ
Re: (スコア:0)
なおさらドルと同水準以上の金利にしないと話にならないな。
Re: (スコア:0)
USDJPYだけならまだいいけど、GBPJPYとかEURJPYとかの対円どこも円安なんですが・・・
Re: (スコア:0)
ポンド円なんかFXトレーダーしか見てない合成通貨ペアなのに、一体何を慌ててるの？
Re: (スコア:0)
円暴落の直接の原因はは利上げとか利下げとかの問題じゃなくてYCCだからな。日銀の故意犯。
金曜の官邸呼び出しってさすがに怒られたんだろ。黒田の妄想発言にいつもの勢いなかったし。
Re: (スコア:0)
いやこのまま国内の賃金上がるで放置じゃないか？
Re: (スコア:0)
多くの業種で利益減らしてしまったので給料下げられることはあっても上がることはないけどな。
一方で空前の利益を叩き出した輸出産業も「一時的な要因」だとして給料上げないだろうな。
Re: (スコア:0)
YCCって、結局利上げとか利下げの問題なんですが。
YCC続けるにしても、利上げして0.5%まで、とか1%まで、とかに抑えるってことで利上げできるよ。
でも、いずれYCCもやめる日が来るし、その時はスイスショックみたいなことが起きるかな。
金融緩和や円安がないと生き残れない雑魚日本企業ばかりになって、
国も日銀も大変だよな。
ぬるま湯に浸かりすぎたら、そりゃ競争力なくなるわ。
さっさと利上げするなどして、弱い企業に潰れてもらって新陳代謝あげないとほんと落ちていくだけだよ。
延命治療ばかりして落ち目の企業を保護し、新しい命(ベンチャー)を育む土壌を作らないんだから、そりゃね。
Re: (スコア:0)
日銀は利上げ「しない」のではなくて「できない」
国内相手なら借金しまくっても問題ないなんて、そんな都合の良い話があるわけないんだよ
Re: (スコア:0)
＞国内相手なら借金しまくっても問題ないなんて、そんな都合の良い話があるわけないんだよ
MMT信者が主張する話なら完全な狂気なんだけど半分は正解なんだよ。
国内相手なら特別税で徴収してしまえば借金帳消しにできるので問題ない。
現実に戦後日本がやった。
で、今の日本で誰から特別税取り立てるんだ？内部留保貯めまくってる企業か？
Re: (スコア:0)
利上げすると国債の利払いや高額ローンを組んでいる人が破綻するので利上げできない。
そうなるとゼロ金利バブル崩壊。不良債権。金融危機。
利上げしないと日本経済は潰れてしまうし、利上げしたら日本経済は潰れてしまう。
どっちに転んでも日本はつぶれる。
日本をこんな崩壊に追い込んだのは言うまでもなく安倍晋三の安倍政権。
その安倍政権を支持し続けた人達のせいだね。
日本経済が助かるとしたら、第３次世界大戦が勃発したり、宇宙人が地球に攻めてきたりして世界経済が混乱して円以外の通貨も暴落して円と同じ水準に落ちてくることを期待するしかないな。
現実的な話をするなら、黒田を一刻も早くクビにして、ほんの少しずつ利上げをしていくしかないだろう。
Re: (スコア:0)
日銀総裁が誰かに変わったら政策変わると思ってるなら、たいした頭を持ってますね。
元記事にも書いてあるけど (スコア:0)
AWS使うのであればコストアラーム設定は必須だと思うんですよ。
やらかし検知はもちろん、予実管理とかにも便利に使えますよ。
クラウド怖いクラウド離れ (スコア:0)
懲りて自前サーバに戻るとか
却って自前サーバのほうがコスト抑えられたとか
そういうこともある?
実はクラウド使う程のことはしていなかったとか
Re: (スコア:0)
規模が相当に大きければ自前でプライベートクラウドを作った方がコストは安い
Re: (スコア:0)
CPU100%でぶん回す研究開発用途だと、数ヶ月のレベルでクロスラインして、オンプレの方が安くなる。
うちなんかそういうマシンばっかりでクラウドなんて検討の余地もない。
Re: (スコア:0)
クラウドの導入っていろいろ言うけど結局は費用対効果に優れてたんだよな。イニシャルコスト無しでスケールアウトも簡単なので。
これが今、３割以上値上がりした構図なので長期化すれば余剰機材をオンプレで抱えた方が安いだろって経営判断にはなるだろう。
その前にイニシャルコスト無しの効果が消滅するので新規投資が委縮してしまいそうだが。
Re: (スコア:0)
大して使わない用途でも大抵一年程度でオンプレのほうが安くなるよ。
Re: (スコア:0)
中規模以上の事業者では、元から自前で仮想環境立てたほうが安いだろ。