OCNやKDDIで通信障害 93
ストーリー by headless
経路 部門より
経路 部門より
nnnhhh 曰く、
OCNの海外回線の障害をきっかけに(?)大規模障害が起きていた模様(毎日新聞の記事)。
本件について、NTTコミュニケーションズとKDDIが障害情報をWebサイトに掲載している。NTTコミュニケーションズによれば、インターネット上で大量の経路変動が発生したために通信が不安定になっていたとのことで、障害が発生したのは25日12時22分頃、12時45分に復旧したという。障害の影響を受けたのはOCN光/OCNでNTT東西のフレッツをアクセス回線で利用しているユーザーだが、OCNの設備に異常はなかったとしている。KDDIで障害が発生していたのは12時24分頃から12時39分頃で、KDDIインターネットのユーザーの一部が影響を受けたとのこと。ケータイWatchの記事によれば、NTTコミュニケーションズは同社のネットワークとつながる海外他事業者の設定が原因と説明しているそうだ。
Googleが自社原因であるとして謝罪した模様 (スコア:5, 参考になる)
http://www.asahi.com/articles/ASK8V53PVK8VULZU001.html [asahi.com]
日本国内の複数のインターネット接続サービスが２５日、相次いでつながりにくくなった大規模な通信障害で、米ＩＴ大手グーグルは２６日、朝日新聞の取材に、同社の通信装置の誤操作が原因と認め、謝罪した。今後再発防止に取り組むという。
（中略）
通信事業者の調査で、障害発生の直前にグーグル社が発信したネット回線の接続経路に関する情報に、誤った内容が含まれていたことが原因とわかった。グーグル社は「ネットワークの誤設定により障害が発生し、８分以内に正しい情報に修正した。ご不便、ご心配をおかけしたことをおわびする」としている。
出ている情報から多くの人が推測していた内容で間違いは無さそうです。
Re:Googleが自社原因であるとして謝罪した模様 (スコア:2)
実際なにがあったかな？DNSの設定ミス？
1つの間違いでここまで大きく影響がでるとは。
間違いがあっても影響でないように防ぐことはできないのだろうか。
http://internet.watch.impress.co.jp/docs/news/1077431.html [impress.co.jp]
OCNが相互接続している海外の大手ネットワーク事業者が、OCNのネットワークへ転送すべきIPアドレスに対し、本来は経由すべきではない自社のネットワークへ転送するよう指定してしまった模様だ。
今回の経路障害の影響が及んだIPアドレスは、世界で約10万アドレス。このうち日本国内が約2万5000アドレスだという。
Re:Googleが自社原因であるとして謝罪した模様 (スコア:1)
DNSじゃなくて誤トランジットかな
間違った経路情報が原因で通信障害状態になったり、経路数が増大して不安定に
元の経路を広報するまでの10分ほどでこれだけ影響でてしまったなー
久々に『インターネットが壊れた』と言える事件だった
Re:Googleが自社原因であるとして謝罪した模様 (スコア:2)
DNSじゃなくて誤トランジットかな
なるほど。
Googleが誤操作でトランジット情報を書き換えできるってところがちょっと怖いです。
Re:Googleが自社原因であるとして謝罪した模様 (スコア:1, 興味深い)
あらあら、Googleは悪くないの人どうするの
Re:Googleが自社原因であるとして謝罪した模様 (スコア:3)
Googleが悪いと決まったわけじゃ無い
と
Googleは悪くない
は違うでしょ
そこ混同してしゃべるんでは大して変わらんのでは?
Re:Googleが自社原因であるとして謝罪した模様 (スコア:4, 興味深い)
経路情報の配布もインターネット経由なので、誤った経路情報で汚染された場合、パケットが虚空に飲み込まれて、手動でロールバックしなきゃならない場合もある。
Re:Googleが自社原因であるとして謝罪した模様 (スコア:2, 参考になる)
だいたい、こんな感じのストーリーだと思われる。
1. グーグルは自社のネットワーク内の経路を制御するために細切れの大量の経路を管理していた。
2. 機材の故障か制御ソフトのバグか設定作業のミスかはわからないけど、誤ってその内部経路を外部に流してしまった。
3. 最近それでなくても経路量の爆発している所にグーグルから多量の経路が流れてきたので、余裕のない基幹ルーターの処理がパンクした。
4. 直接もらったところだけでなく、間接的にもらったところも次々とパンクしていった。
5. パンクしているので撤回が流れてきたとしても処理できないので復旧しなかった
6. 手作業により復旧させたか、処理がようやくおいついて自然復旧したか、時間がかかって順次復旧していった。
BGPmonからかなり詳細なレポートが出た (スコア:2)
BGP leak causing Internet outages in Japan and beyond. [bgpmon.net]
Googleはトランジットプロバイダーではなく、第三者のトラフィックがGoogleのネットワークを通ることはないのに、Googleを通すようなBGPのAS pathsになっていたという話。日本でもそういうつぶやきがあったので、そうなのでしょう。
影響という面では、NTT comのほかにWindstream Communications Incという米国のネットワークへのprefixesもあったけど、NTT comが24,834、Windstreamが7,715で、特にNTT comが多かったという内容でした。
影響受けてた (スコア:1)
これ、ocnで影響受けてたわ。
接続はできてるんだけど、rttがどこにとばしても2000msくらいで、ほぼ通信できない状況。
あのお方 (スコア:1)
名前出しちゃいかんのか？
Re:あのお方 (スコア:2, 参考になる)
［続報］OCNの通信障害、米グーグルによる誤った経路情報の大量送信が原因か
http://itpro.nikkeibp.co.jp/atcl/news/17/082502137/ [nikkeibp.co.jp]
普通に記事になってるのにね
Don't be evil (スコア:0)
つまり、故意にやれば普通に通信を麻痺させる程度の力はあるわけだね。
Re:Don't be evil (スコア:2, 参考になる)
> つまり、故意にやれば普通に通信を麻痺させる程度の力はあるわけだね。
何を言いたいのかわかりませんが、
BGPの仕様上で言えばAS番号持ってる世界の数万もの企業が今回のようなことを起こすことができます
そのうえで、という話ですが
AS番号として「15169」に関する経路情報が異常であったことはほぼ間違いないのですが、
それがGoogle自身のミスなどによるものなのか、
そのAS番号を詐称したほかの組織があえて上記AS番号に被せて異常な経路情報を流したのかなどが不明です
現在の状況で言えば、たとえば
・「google.com」というDNS名に対して、不適切なIPアドレスに解決されるレコードがインターネット上で流通した
場合に
・Google自身が管理する本物権威DNSサーバやその配下のDNSサーバ群が、実際に不適切なDNSレコードを配信したのか？
・Google以外の主体がDNSキャッシュポイズニングなどでGoogleとは無関係にDNSレコードに介入したのか？
などがまだ不明という状況で、Googleが悪いと確定もできていない状況です
Re:Don't be evil (スコア:3, 参考になる)
状況を整理すると
・対Googleのピアリングから誤った情報が発信された事が確認できている
・対象はピアリングを設定していたOCNに関するもので、表面的にはOCNが問題を起こしたように見えるように集中的に発生、その後問題が拡大した
と言う状況で、多くの人がGoogleが何らかのミスをしたと考えているようです。
http://matomame.jp/user/yonepo665/d699e232291a1a6fd42c [matomame.jp]
Googleが悪いのではと言っていますので、確定できないとか言っているのは状況を把握できていない人だけでは？
とか書いていたら、Googleが自社原因であった事を認めたようです。
http://digital.asahi.com/articles/ASK8V53PVK8VULZU001.html?iref=com_al... [asahi.com]
#なんでこんな的外れの逆張りが参考になるになるの？
Re: (スコア:0)
> プライベートピアリングからっつって書いてあるだろうが
AS番号が15169の意味を分かってない方はBGPを勉強してきてください
ネットワークの接続がIX上なのか企業間直接接続なのかは関係なく、今回の経路はもし悪意あるものがいれば干渉を受けるものです
ここまでについて反論されても、ここはBGP講座サイトでもないのですべて無視します
念のため言っておきますが自分も一番可能性の高い原因はGoogleのミスだろうとは思いますが、
昨今の国レベルでのインターネット上の攻撃であれば今回のようなことを引き起こすことも（わりと簡単に）可能です
Re: (スコア:0)
プライベートピアリングに干渉できる悪意？すごいね。
とりあえずそんなことが可能なら今回の事件以上に大問題だね。
ネットの大規模トラフィックを捌く基幹系企業のプライベートピアリングに謎の「悪意」がいたなんてのはたいへんなだいじけんだ。
Re: (スコア:0, 興味深い)
まず、#3268144 を参照してください
そのうえで、BGPは
「巨大組織ごとに重複しないAS番号を使おうね、約束だよ！」から入っている
性善説時代に近いプロトコルで、
巨大組織がゆえにそんなに馬鹿をする者はいないだろう？という前提が成立しない場合には非常に脆い部分が多くあります
例としては「大規模な盗聴が可能な「ネット最大の脆弱性」：BGPの悪用を公開デモ」でググって内容を理解してみてください
そこで、昨今の中国やロシアによる国レベルの攻撃が実際に起こってきた今では
BGPを悪用した攻撃が「巨大組織であっても実行されるようになってきた」と言えます
（これは今回の件が実
Re: (スコア:0)
誰もBGPを使った攻撃が可能かなんて話はしてないのよ。
可能に決まってる。
そうじゃない。今回はどうだったのかって話をしてるんだよ。
だけど
それがGoogle自身のミスなどによるものなのか、
そのAS番号を詐称したほかの組織があえて上記AS番号に被せて異常な経路情報を流したのかなどが不明
（略）
Googleが悪いと確定もできていない
などと、なぜかDNSを例にとって言う奴がいたんで、みんなそいつにお前何を言っているんだ、ってツッコミを入れている状況なんだよ。
Re:Don't be evil (スコア:1)
もしかして的外れなDNSだのBGPだの関係のない話をしてたのは、敬愛するGoogle様のアンチだから懲らしめないと、みたいなモチベーションだったのか？
うんざりだ。勘弁してくれ。
他のは単に技術的な雑談をやってるだけなんだよ
そう言う気分で参加するのはやめれ。ほんと迷惑。
世の中は敵と味方だけじゃないんだ。
もうすぐ夏休みが終わりそうで世の中すべてが敵に見えているかも知れないし、聞きかじった生焼けの知識をひけらかしたら一蹴されてそう言う気分なのかも知れないが、まずは冷静になれ。少なくとも自分の勉強不足を相手に返すのはやめろ。
少なくとも、悪意を持ったハッキングなどを前提とするなら、DNSだのBGPだのは全く関係が無い話になる。しかし、それを推測させる発表は今ない。その状況でその可能性に言及するのは妄想だ。それすら理解できずに聞きかじって説明すらできないような用語をてきとうに並べるような意味の無いことをやるな。
一方で、どのようなミスをするとこうなるのかという技術的興味がある人は多くて、そう言う会話がされてるんだよ。GoogleやNTTCOM、KDDIのセキュリティを突破してBGPを悪用して中途半端に攻撃を実施したのに犯行声明を出さないテロリストがいる可能性について話をするより、だれにでも起こりうるトラブルとして教訓を検討する方がよほど重要だし興味がある奴は多いんだよ。
お前だけなんだ、敬愛するGoogle様はそんなことするはずがない、起きるとしたらテロリストがやったに違いないなんてモチベで話をしてるのは。
お前だけなんだ、敬愛するGoogle様以外でも同じ事故が起こることを説明する事で擁護した気になってるのは。そうじゃないんだ、他でも起こる可能性があるから詳細を検討したいんだよ。
Re:Don't be evil (スコア:1)
なんか皆忘れてるけど10年もたっていない2010年に
中国がこんなことやっていたのに今更何を言っているんだ
http://www.gizmodo.jp/2010/11/post_8014.html [gizmodo.jp]
Possible BGP hijack (スコア:4, 参考になる)
BGPStream [bgpstream.com] をみると、昨日大量の Possible BGP Hijack が出ていますね。
Possible Hijack Expected Origin AS: Peering Ltd (AS 50952)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: novatel Eood (AS 41313)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: Ukrainian Backbone Networks LLC (AS 59613)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: Internet Neutral Exchange Association Limited (AS 2128)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: GHOSTnet GmbH (AS 12586)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: Stowarzyszenie na Rzecz Rozwoju Spoleczenstwa Informacyjnego e-Poludnie (AS 50607)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: CTC Transmisiones Regionales S.A. (AS 7004)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: INTERNET MULTIFEED CO. (AS 7521)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: ATM S.A. (AS 24748)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: Asociatia Nationala a Internet Service Providerilor din Romania ANISP (AS 20530)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: TPG Internet Pty Ltd. (AS 18398)
Detected Origin AS: Google Inc. (AS 15169) 2017-08-25 04:00:33 2017-08-25 04:00:57 More detail
Possible Hijack Expected Origin AS: Telia Company AB (AS 3301)
Detected Origin AS: AS Number for Interdomain Routing (AS 18002) 2017-08-25 04:00:32 2017-08-25 04:01:08 More detail
Possible Hijack Expected Origin AS: Telenor Norge AS (AS 2119)
Detected Origin AS: AS Number for Interdomain Routing (AS 18002) 2017-08-25 04:00:32 2017-08-25 04:01:08 More detail
Possible Hijack Expected Origin AS: Xiangtan (AS 58541)
Detected Origin AS: TATA Communications formerly VSNL is Leading ISP (AS 4755) 2017-08-25 03:57:57 2017-08-25 03:57:58 More detail
モデレータは基本役立たずなの気にしてないよ
Verizon also shares a part of the blame (スコア:1)
Bleepingcomputer.com [bleepingcomputer.com]によると、BGP route hijack がヒューマンエラーなのか機器の故障の結果なのか見分けはつかないとのことだが、この件 Verizon にも責任の一端があるようだ（BGP leak causing Internet outages in Japan and beyond. | BGPmon [bgpmon.net]）。
モデレータは基本役立たずなの気にしてないよ
Re:Don't be evil (スコア:4, 参考になる)
それってBGPのプロトコル自体の問題じゃなくね。BGP自体が破られたという話は聞いてない。
多分言いたいのは、AS同士信頼するノードとして結合してるのに、ASが多すぎて中に愚者と悪者がいるって事でしょ。
信頼するノード間で交換される経路情報に誤謬や悪意があったとしても、チューリングの停止性問題によって、それを完全に検知する事は難しいからね。
だいぶ前から言われてた、インターネット自体の脆弱性だよ。経路情報とDNSは。
DNSルートサーバは、アメリカとスウェーデンとオランダと日本で独占してるけど。
インターネットに敵国を参加させるべきでは無かったね。
Re:Don't be evil (スコア:2, すばらしい洞察)
あんた本気で人の話聞かないのな。
Re: (スコア:0)
終末戦争後のわやくちゃに成った世界でさえ最悪遅延を伴ってでも通信できる仕組みなのに
勝手に常用の要求水準を上げまくって障害がなんだかんだ言ってる状態だからね
Re:Don't be evil (スコア:3, 興味深い)
かなり昔だが、初めてそれを聞いたとき
「なるほどインターネットってのはコアのないメッシュ型ネットワークみたいなもので、どこかやられても別の経路が生きていれば転送可能なんだろうな」
と思ったけど、思いっきりツリー型なんですよね。LANとかも。
まぁ冗長化すれば死んだら別のツリーをでっち上げてメッシュ型に近い事はできるとはいえ。
知った時は正直がっかりした。
まぁIPアドレスから経路を決定するならどのアドレスがどのポートが覚えていなくちゃいけなくて、必然的にそんな高性能ルーターがそこら中にある訳がないのは仕方がないとはいえ、もっと超技術でできていると思ってた。
そういう感じだったら、一つの経路が死んでいる事を検知すれば運行情報対応の乗換案内の要領で即座に別ルートで解決されて、最終戦争後でも最終的には鳩にまで頼る形で生きているネットワークと言えただろうに。
Re:Don't be evil (スコア:5, 興味深い)
> 「なるほどインターネットってのはコアのないメッシュ型ネットワークみたいなもので、
> どこかやられても別の経路が生きていれば転送可能なんだろうな」
> と思ったけど、思いっきりツリー型なんですよね。LANとかも。
歴史的に言えば、今よりもずっと自律ルータが多く存在し、ノードは少ないことが想定されていました
それが一般向けの「インターネット」になった際、
（こういう言葉は直接的ですがおそらく妥当な表現と思います）
「使えなくてもどうせ死にはしない一般人が使うノード数が爆発的に増加した」
「そういうノードの利用者は自律ルータまで導入/維持するコストを負えないので、ISPなどがまとめて集約するようになった」
（そして利用者の宅内には自律ルータではなく後述するNATルータだけ置くようになった）
「ノードの増加と合わせてIPが不足、経路情報も爆発的に増加したので、メッシュ構成は不可能なNATなどを多用するするしかなくなった」
「さらにトラフィックも激増した結果、メッシュ構成をある程度捨てたCDN(コンテンツ配信ネットワーク）によるトラフィック構成をとることが必要になった」
と時代は進み現在に至るという感じでしょうか
その代わり、「冗長性は大きく落ちたけど、とりあえず通常時は接続性があるインターネット」のコストは非常に下がりました
Re:Don't be evil (スコア:1)
比較対象が電話交換機だからねえ
お隣とIPプロトコルを使って直通回線繋いでも誰も批難できない
おれKDDI契約お隣NTTで勝手ブリッジ繋いでも各社が撤去を求めたりする根拠がない
Re:Don't be evil (スコア:2)
最終戦争なんちゃらの頃は、まだ手動経路。間違って設定してもテヘッで済んだ。
経路情報を動的に交換するようになると、誤った経路情報の配布は脆弱性になったが、性善説で運用する以外なかった。
もちろん階層化してるが、今回の主犯は、GoogleのASなので、影響が世界レベルになった。
Re: (スコア:0)
GoogleでAIに経路決定をやらせる試験をしてたとか
Re: (スコア:0)
核戦争があっても生き残るためのネットワークって、軍からお金を引き出したい研究者が冗談半分で言ったことがそのまま定着しちゃっただけなんじゃなかったっけ？研究者ってそういうことするじゃない？自分でも実現するわけないと思ってる壮大なホラ話を平然と語ったりさ。それができるのが優秀な研究者なんだよ。
Re:Don't be evil (スコア:1)
いやいや冗談半分では、ARPAから金を引き出せないよ。その当時では、途中のルータ一個死にました。でもHOP数多いけど、別の経路を自動的に選択しますは十分すごい事だよ。軍は民間と違って、基地間を交換機を通さない純粋な銅線や、軍用無線でつなぐ事が出来るから、メッシュネットワークも構築出来る。
Re: (スコア:0)
"OCNの障害の原因" でぐぐる [google.co.jp] とそのページが出てきますね。
せっかくだから "もしかして: Googleのせい？" くらい出して欲しかった。
Re:あのお方 (スコア:1)
NTTCOMとGoogleのピアリングでヘンなルーティング情報が流れてきたらしいから、
まあ、Googleのせいでいいんじゃないの。
もちろん、テロリストがGoogleのデータセンタに忍びこんで意図的に誤った情報を流したのかもしれないけど、Tier1 としてはそういうのは防げないとダメでしょう。
Re: (スコア:0)
ピアリンクからの汚染だそうですが、その状況でGoogleが被害者の可能性ってあるの？
Re:あのお方 (スコア:1)
他にも可能性があるよ
・宇宙から振ってきた隕石がたまたまピンポイントにGoogleのルータを直撃してそれで破壊された
・エイリアンが地球人類がまだ得ていないテクノロジーによって全てを洗脳した
・掃除のおばちゃんがたまたまGoogleの担当者と同じ身体情報を持っていてデータセンタに侵入できてしまい、掃除機をかけるために電源を抜いていた
・どっかの誤りを認めたら死ぬ病にかかったマヌケと同レベルの担当者がGoogleの重要な設定を変更する担当者で、ミスをやらかした
・可能性がゼロではない事しか根拠のない一般的に「妄想」と言われるものを意地になって言い続けるマヌケが混ざっているせいで、Googleで正常な意思決定が行われなかった
Re: (スコア:0)
そんな事実があったら、大規模なクラッキングがあったと発表するだろ。
何を言ってんだお前は
さっきからネットワークの基本を理解せずにBGP勉強してこい反論無視するとか妙なのがいるようだが、とりあえず黙って欲しい
Re: (スコア:0)
> そんな事実があったら、大規模なクラッキングがあったと発表するだろ。
だからそれを含め、現在Googleが「調査中」と発表しているわけですけど？
「調査すら許さないとにかくGoogleは自分が悪いんです全部自分のせいなんですと言え」になってしまっている方には
申し訳ありませんが興味が持てないですね
そちらが黙ることは決してないことはわかりましたので、こちらがそちらを一方的に無視させていただきます
Re: (スコア:0)
つまり、まだGoogleが発表してないから確定していない、程度の根拠しかないのか
Re:あのお方 (スコア:1)
回答はしませんとか無視するとか言いつつ、暇な奴だな。
朝日の謝罪報道が謎めいている件 (スコア:1)
ググっても出てこないしと思っていたら、こんなツイートが流れてきた。
https://twitter.com/makoto_naruke/status/901604311880409088 [twitter.com]
「不思議すぎる。グーグルが朝日新聞にのみ会見したというのだろうか。しかも損害賠償必至の謝罪コメント付きである。グーグルのサイトにはそれらしきページはないようだ。...」
https://twitter.com/shinjiko9/status/901755622302953472 [twitter.com]
「Google一社が日本中のネットワーク障害をおこしたという驚きよりも、あのGoogleが謝罪したということの方が驚きだ。」
やっぱりあの記事は変だとみんな思っている(笑)
モデレータは基本役立たずなの気にしてないよ
Re: (スコア:0)
Google側からの発表がないのが嫌だね。
まあ、訴訟リスクがあるから、安易な発表ができない状況ではある。
Re: (スコア:0)
他人には厳しいが自分には大甘な会社だよ、前々から。
「Googleが脆弱性を放置」と、セキュリティ企業が批判 [itmedia.co.jp]
米Googleの「Google App Engine（GAE）for Java」に見つかった複数の脆弱性が未解決のままになっているとして、
ポーランドのセキュリティ企業Security Explorationsが5月15日、詳しい情報とコンセプト実証コードを公開した。
Googleは他社に対しては即座に対応を要求しておきながら、自分たちの製品に報告された脆弱性は放置したり
黙って修正したりしていると批判している。
Re: (スコア:0)
> FBIからカスペルスキーは使うなと日本にまで外圧が入ってるけど
これは初耳だな。情報元は何処かね？
Re: (スコア:0)
ググってみたらどうでしょう(すっとぼけ)
OCNは被害者なのに (スコア:0)
まるで犯人みたいな勘違いツイートを真っ先に引用しててワロタ
被害者は誰 (スコア:0)
何者かが海底ケーブルを切断したに決まっている。
Re: (スコア:0)
やっぱクジラは殺処分するしかないな
Re:被害者は誰 (スコア:1)
いや、勿体無いから食べよう。