Google、機械学習に特化した独自LSIチップを開発 30
ストーリー by hylom
ちょっと欲しい 部門より
ちょっと欲しい 部門より
あるAnonymous Coward 曰く、
最近人工知能や機械学習に力を入れているGoogleだが、同社は機械学習に向けて特化したLSIを独自に開発、導入を進めているそうだ（TechCrunch）。
このモジュールは「Tensor Processing Units（TPU）」と呼ばれており、たとえばGoogleの音声認識サービスなどですでに使われているほか、先日囲碁のプロ棋士に勝利したAlphaGoでも採用されているという。
8ビット機? 本当?? (スコア:4, 興味深い)
リンクされてるTechCrunchの記事 [techcrunch.com]の表題に『～なんと、８ビット機だ』とあるけど本当かしら?
原文 [techcrunch.com]見ても
とあるのみで 8ビット機である、みたいな説明は見当たらんのだけど。
8ビットの浮動小数点演算 [wikipedia.org]をする演算器がパラに数十～数百個並んでる構成とかだったとして、それを以て「8ビット機」とは言わんよなあ。
Re:8ビット機? 本当?? (スコア:1)
http://www.eetimes.com/document.asp?doc_id=1329715 [eetimes.com]
では
“The TPUs are “likely optimized for a specific math precision possibly 16-bit floating point or even lower precision integer math,” Krewell said.
意訳：
TPUは、どうやら16ビット浮動小数点の精度あるいはさらに低い精度の整数演算用に特別に最適化されているようだ。と、Krewellは語った。
ってことで訳は正しいですかね
8bitっていう意味ではないですね。
Re: (スコア:0)
8ビット機の定義が曖昧なのが根本的な問題だと思うんですけど
Re: (スコア:0)
cpu処理能力のビット数と、
数学的な演算精度とをごっちゃにしているんだよ
Re: (スコア:0)
8bitでの計算に特化して最適かしてるんだから、8bit機と呼んでも差し支えはあるまい
Re: (スコア:0)
機械学習用ですらないと推測されている
Krewellさんは外部のアナリスト
“It seems the TPU is focused on the inference part of CNN and not the training side,” Krewell said. “Inference only requires less complex math and it appears Google has optimized that part of the equation.
“On the training side, the requirements include very larger data sets which the TPU may not be optimized for. In this regard, Nvidia's Pascal/P100 may still be an appealing product for Google,” he added.
Re: (スコア:0)
DeepLearningの用途では、16bitでも十分という用途はたくさんあるそうです。
先日発表されたNVIDIAの新しいGPUも、16bitの演算を高速に実行できることを売りにしています。
研究の分野では、IEEE 754の16bit浮動小数点は使いにくいって話もあります。
指数5bit+仮数10bitなのですが、指数はもっと増やして（ダイナミックレンジを大きく）、仮数はもっと減らして（精度は不要）ほしいそうです。
学習後の利用時には、8bitでも過剰という話も。
Googleの物が8bitかどうかは分かりませんが、精度はもっとばっさりと切ってるかもしれません。
Re: (スコア:0)
セガサターンは64bit。
Re: (スコア:0)
セガサターンは「64ビット級」 [sega.jp]ですよ。
Re: (スコア:0)
セガ理論だと(8×TPUのユニット数)bit級ということになりませんか。
Re: (スコア:0)
そう、セガは 32bit の CPU を 2 個積んでたから、64 bit (級)と言ってた。
Re: (スコア:0)
翻訳者の名前をみてお察し。
Re: (スコア:0)
岩谷宏氏の仕事がクソだとでも言いたいんですか? [google.co.jp]
Re: (スコア:0)
むしろ、70歳すぎた爺さんが、テクノロジー記事の翻訳で
活躍している状況に呆れるところじゃないですかね?
しかも全盛期はコンピューター関連の仕事をしていたわけでも無い人みたいですし…
Re: (スコア:0)
思い込みで余計なことを付け加える癖のある訳者であると少なくとも20何年前から言われてる人なので現在の年齢はあんま関係ねんじゃね?
Re: (スコア:0)
全く関係ないが、むかしZ80を多数寄せ集めてスパコンを作ろう、みたいな話があったな
昔、Lispマシン (スコア:2)
人工知能で、LISPマシンなんてのがあったと思い出した。
結局、汎用マシンの方が、進化が速くで、淘汰された。
ある程度の市場規模がないと、生き残れないようで。
ただ、単機能のチップを大量に使うから、量産効果が期待できて、
それなりのコストパフォーマンスがあるか。
8bitかどうかは、設計思想上、最適かどうかでどうでもいいこと。
PCの内部バスもパラレル(8->16->...)から、一転、シリアル(1bit)になったりしてる。
一般には (スコア:0)
売ってくれないのかな
いくら位だろ
Re: (スコア:0)
1080も出たばっかりなんだしさ
Re: (スコア:0)
GTX1080はFP16が遅い（FP32と同じ）ので、普通はGP100のTesla P100の方を買うんじゃないの？
Re: (スコア:0)
Wikipedia [wikipedia.org]にはHalf precision FP16 operations executed at twice the rate of FP32って書いてあるけどこれは違う？
Re: (スコア:0)
Tesla P100からそう予想されるってのがその5月頭の出典で、今週になってGTX1080はグラフィックス特化でFP16やFP64は強化してないって発表された
スカイネット (スコア:0)
これはターミネーターのブレインチップに相当するものですよね。
floatを使ってると注意されたものですが (スコア:0)
昔のCの処理系ではdoubleの方がfloatより速かったりして、floatを使うのは止めろというアドバイスをよく見かけました。
一方、最近ではグラフィック用にfloatを使うことが多くなり、「科学技術計算」なのに半精度(16bit)を使うケースを目にしたり、最先端の人工知能で8bitなんて言われるのは不思議な感じです。
Re: (スコア:0)
メモリ効率とのトレードオフやね
Re: (スコア:0)
当時のdouble対floatは確かにメモリ効率の話ですが、最近は精度を下げて演算器の面積を節約するのがトレンドのようです。
幅を半分にすると面積が1/4以下になることもあるので、同じ面積で計算速度が4倍以上になるなんてこともあり得ます。
Re: (スコア:0)
K&Rの頃はfloatの演算は一旦doubleに昇格されて処理される決まりだったし仕方ないよね。
Re: (スコア:0)
昔、某ミニコンの乗除算は、intより、floatが速かったなんてのが、あったけど。
理由はお察しの通り、、、
今の人は分からないかも知れないが、
ミドル以上は、外に浮動小数点専用の回路を積んでいた。
Re: (スコア:0)
PC-8801でレイトレ演算をやらそうとfloat[100000]の配列定義したのに動かない(´･ω･`)
と言ってた友人を思い出した。
Re: (スコア:0)
レイトレに100000もの要素の1次元配列って何に使う用の話してんの?
レンダリング結果の保存用なら2次元か3次元の配列が便利とは思うけど。