Google also manages to speed up the machine learning algorithms with the TPUs because it doesn’t need the high-precision of standard CPUs and GPUs. Instead of 32-bit precision, the algorithms happily run with a reduced precision of 8 bits, so every transaction needs fewer transistors.
by
Anonymous Coward
on 2016年05月20日 17時10分
(#3016020)
http://www.eetimes.com/document.asp?doc_id=1329715 [eetimes.com] では “The TPUs are “likely optimized for a specific math precision possibly 16-bit floating point or even lower precision integer math,” Krewell said.
“It seems the TPU is focused on the inference part of CNN and not the training side,” Krewell said. “Inference only requires less complex math and it appears Google has optimized that part of the equation.
“On the training side, the requirements include very larger data sets which the TPU may not be optimized for. In this regard, Nvidia's Pascal/P100 may still be an appealing product for Google,” he added.
8ビット機? 本当?? (スコア:4, 興味深い)
リンクされてるTechCrunchの記事 [techcrunch.com]の表題に『～なんと、８ビット機だ』とあるけど本当かしら?
原文 [techcrunch.com]見ても
とあるのみで 8ビット機である、みたいな説明は見当たらんのだけど。
8ビットの浮動小数点演算 [wikipedia.org]をする演算器がパラに数十～数百個並んでる構成とかだったとして、それを以て「8ビット機」とは言わんよなあ。
Re:8ビット機? 本当?? (スコア:1)
http://www.eetimes.com/document.asp?doc_id=1329715 [eetimes.com]
では
“The TPUs are “likely optimized for a specific math precision possibly 16-bit floating point or even lower precision integer math,” Krewell said.
意訳：
TPUは、どうやら16ビット浮動小数点の精度あるいはさらに低い精度の整数演算用に特別に最適化されているようだ。と、Krewellは語った。
ってことで訳は正しいですかね
8bitっていう意味ではないですね。
Re: (スコア:0)
8ビット機の定義が曖昧なのが根本的な問題だと思うんですけど
Re: (スコア:0)
cpu処理能力のビット数と、
数学的な演算精度とをごっちゃにしているんだよ
Re: (スコア:0)
8bitでの計算に特化して最適かしてるんだから、8bit機と呼んでも差し支えはあるまい
Re: (スコア:0)
機械学習用ですらないと推測されている
Krewellさんは外部のアナリスト
“It seems the TPU is focused on the inference part of CNN and not the training side,” Krewell said. “Inference only requires less complex math and it appears Google has optimized that part of the equation.
“On the training side, the requirements include very larger data sets which the TPU may not be optimized for. In this regard, Nvidia's Pascal/P100 may still be an appealing product for Google,” he added.
Re: (スコア:0)
DeepLearningの用途では、16bitでも十分という用途はたくさんあるそうです。
先日発表されたNVIDIAの新しいGPUも、16bitの演算を高速に実行できることを売りにしています。
研究の分野では、IEEE 754の16bit浮動小数点は使いにくいって話もあります。
指数5bit+仮数10bitなのですが、指数はもっと増やして（ダイナミックレンジを大きく）、仮数はもっと減らして（精度は不要）ほしいそうです。
学習後の利用時には、8bitでも過剰という話も。
Googleの物が8bitかどうかは分かりませんが、精度はもっとばっさりと切ってるかもしれません。
Re: (スコア:0)
セガサターンは64bit。
Re: (スコア:0)
セガサターンは「64ビット級」 [sega.jp]ですよ。
Re: (スコア:0)
セガ理論だと(8×TPUのユニット数)bit級ということになりませんか。
Re: (スコア:0)
そう、セガは 32bit の CPU を 2 個積んでたから、64 bit (級)と言ってた。
Re: (スコア:0)
翻訳者の名前をみてお察し。
Re: (スコア:0)
岩谷宏氏の仕事がクソだとでも言いたいんですか? [google.co.jp]
Re: (スコア:0)
むしろ、70歳すぎた爺さんが、テクノロジー記事の翻訳で
活躍している状況に呆れるところじゃないですかね?
しかも全盛期はコンピューター関連の仕事をしていたわけでも無い人みたいですし…
Re: (スコア:0)
思い込みで余計なことを付け加える癖のある訳者であると少なくとも20何年前から言われてる人なので現在の年齢はあんま関係ねんじゃね?
Re: (スコア:0)
全く関係ないが、むかしZ80を多数寄せ集めてスパコンを作ろう、みたいな話があったな