「Google独自の「TPU」に関する論文を公開、特定分野においてはGPUやCPUの15～30倍速い」記事へのコメント

たったの15～30倍？

[Anonymous Coward]

学習済モデル専用チップならもっと高速化できそうなのに。

Re:

[Anonymous Coward]

FPGAで○倍早くなりましたって話とどのあたりが違うのかがよく分からない。

要約

[Livingdead (18685)]

FPGAを採用しない理由
・論理合成レベルのことまで考えさせるのはかわいそう
・FPGAのような柔軟性は必要無い
・FPGAは速度の面でGPUに勝てない

GPUとの違い
・TPUはGPUよりも機能を絞り込んで回路を簡素化
・TPUはオブジェクトやテクスチャなどのための広大なRAMを持たない
・GPUはGPU用メモリに置かれたバイナリコードをフェッチしながら実行
・TPUはCPUから専用の命令をPCIe経由で流し込まれながら動作

その他
・TPUはFPUというかコプロセッサっぽい発想
・TPU内のメモリはGDDR5でGPUの速さを享受

--
屍体メモ [windy.cx]

Re:

[Anonymous Coward]

なんとなく「トランスピューター」って言葉が思い浮かんだ。
X68Kに入れていた奴が居たな。

Re:たったの15～30倍？

[Anonymous Coward]

実は2年くらい既に運用していたんですよというところがポイントなんじゃない?
他社や他国が今から始めても収益性では敵いませんけど頑張ってねというお知らせだと思う

Re:

[Anonymous Coward]

むしろ研究と運用の密接具合が凄いなと小並感

Re:

[Anonymous Coward]

おじいちゃんDevopsブームはもう遥か過去ですよ

Re:

[Anonymous Coward]

研究をお前みたいなデブといっしょにされてもな

Re:たったの15～30倍？

[Anonymous Coward]

ソフトウェア処理やめてハードウェアで処理したら早くなりましたって類の話です。
ここで言うハードウエアは特定用途専用のプロセッサのこと。
この説明だとGPUもハードウエアだよねってツッコミが入るが無視する。
FPGAよりも適用できる範囲は狭いのでより使いどころが難しい。
CPUもハードウエアだよねってツッコミも多分入るが無視する。

Re:

[Anonymous Coward]

ASICってこと？

Re:

[Anonymous Coward]

そうそうそれそれ

Re:

[Anonymous Coward]

もしかして、学習しているのはＣＰＵでＣＰＵが学習した内容を使ってＴＰＵをコントロールしてるの？

Re:

[Anonymous Coward]

I/Oがネックなんじゃないの？

プラスアルファ

[Anonymous Coward]

汎用プロセッサでソフトウェア的にやっていることを
専用プロセッサ作ってやれば早くなる
というのはあるだろうけど
それ以上の話はなんかあるんだろうか？

まあ、あたりまえの話ではあるけど
あたりまえの話を粛々と計画・実行しているアメリカ企業はさすがだな
とは思う

Re:プラスアルファ

[nim (10479)]

専用プロセッサだと速くなるのは当たり前の話でしょうが、
（Googleが機械学習用の専用プロセッサを使っているというのは以前から聞いていましたが、その時）専用プロセッサを量産し、ガンガンまわすのが見合うくらい機械学習のニーズがあるとGoogleが考えている（で、実際にそれだけ使っている）というのは私にとってはニュースでしたね。

Re:

[Anonymous Coward]

恐ろしいことにこいつはモデルの学習用ではなくて学習済モデルを使った推論用である

Re:

[Anonymous Coward]

当たり前を成すのは容易いが
当たり前を成し続けるのは難しい

# マスターキートンあたりの格言だったかな

その場にとどまるためには、全力で走り続けなければならない

[Anonymous Coward]

赤の女王仮説ですな
#ちょっと違う　ちょっとあってる?

Re:

[Anonymous Coward]

漫画家が机の上で考えた全然実体験を伴わない幻想のような格言を珍重する理由が心の底からわからない。

Re:

[Anonymous Coward]

格言の専門家なんて幻想だから。

Re:

[Anonymous Coward]

格言なんて、その状況をうまく言い当てるもっともらしいセリフ以上の価値はないでしょ。
そもそも一般人に理解できる初等的内容でなくては格言として広まらない。
本当の真理を追求するのは数学者や理論物理学者の仕事で、
それは難しすぎて一般人には理解できない。
つまり、漫画家の考えた格言に価値がないというなら、
昔の偉い人が言った格言も等しく価値がない。

Re:

[Anonymous Coward]

上の格言なら、実体験でもあり得るんじゃないの？
毎日1ページ原稿を描くというのはたぶんたやすいことだろうけど、描き続けるのは難しい。
部屋を整頓された状態にするのは簡単だけど、ずっと整頓された状態を維持することが
できる人は多くないだろう?
そういった、簡単なことだけど継続することができる人は多くないって事柄は、誰の周りにも
ごろごろ転がっているんじゃないの？

Re:

[Anonymous Coward]

Google規模の仕事させないと割に合わないって、あたりまえもあるのかもしれませんね。

Re:

[Anonymous Coward]

そもそもGoogleにおいて割に合ってるのか？

Re:

[Anonymous Coward]

Googleは約15年前から各種サービスで機械学習を採用している。6年前にはディープラーニングの採用を開始し、その処理には膨大なコンピューティングパワーが必要になることを予測してTPUの開発に着手したという。例えばユーザーが1日当たりGoogleで音声検索を3分使うだけで、2倍のデータセンターが必要になる計算だった。

つまりGoogleは他社の半分のハード原価、運用コストで同等のサービスが提供できるというカネに即した割の合い方をしている
できなかったことが技術でできるのではなくてもっと効率よく金を印刷できるという話になっていて、だからニュースになる特異さがピンとこない人もいる

Re:

[Anonymous Coward]

どの広告を出すかの計算にDeep Learningが使えれば、TPUの開発費なんか一瞬で回収できそうなビジネス規模ですから

Re:

[Anonymous Coward]

ある程度大規模な企業でないと難しい。ついでに言うと同じような処理をひたすら行う企業でないと難しい。
そのうちクラウドコンピューティング業者がこぞってこういうことを始めるかも。

2次元的なデータパイプライン

[Anonymous Coward]

何それ、シストリックアレイ？

Re:

[Anonymous Coward]

TPUの行列乗算ユニットはシストリックなデータフローと論文に書いてあるが、
2次元的なデータパイプラインとシストリックアレイは関係ない考え方だよ
1次元のシストリックアレイもふつーにあります

その昔

[Anonymous Coward]

トランスピューターという英国面に落ちたプロセッサーがあったもんじゃ

Re:

[Anonymous Coward]

ここの人たちってMicrosoftとかAMDはうれしそうに批判するよね

Re:Microsoftが負けたのは必然だったな

[nnnhhh (47970)]

× ここの人たちってMicrosoftとかAMDはうれしそうに批判する
○ MicrosoftとかAMDはうれしそうに批判する人がここにはいる

だいぶ意味が違いますよ

Re:

[Anonymous Coward]

ここの人たちって批判やアンチ発言見つけると嬉しそうにあげつらうよね

Re:

[Anonymous Coward]

製造技術は持ってない

Re:

[Anonymous Coward]

MSはより手元の検索の課題解決のためにFPGA使うぐらいで留めてる感じですね