GoogleはIntelに厳しいチップ仕様を要求？ 61
ストーリー by hylom
Made-for-google 部門より
Made-for-google 部門より
あるAnonymous Coward 曰く、
元Google社員によると、GoogleはIntelからチップを購入する際、標準仕様よりも5℃高い温度での稼動を保証するよう要求していたとのこと。また、その温度で正常に稼動しなかった場合無償での交換が約束されていたという。（The Register・本家/.記事）Intelはこれを否定しているが、元社員はこれをGoogleの熱力学エンジニアによる社内トークセッションで耳にしたと述べている。
チップがより高い温度で稼動できるとデータセンターの温度を高く設定できるため、毎年数百万ドルの節約に繋がる。サン・マイクロシステムズの「持続可能なコンピューティング」部門のディレクターMark Monroe氏は、データセンターの設定温度を1℃上げることでエネルギー費を4%削減できるとしている。また、アメリカ暖房冷凍空調学会（ASHRAE）はデータセンターの推奨設定温度を20～25℃としているが、Googleがそれより高い温度で運用しているというのはよく知られていることだという。
Googleのサーバ数を考えるとより厳しい仕様を要求できても不思議ではないが、Googleは個々のインフラやサプライヤー関係の詳細は公表しないとして、この件について発言を避けている。
特殊スペック要求 (スコア:3, 興味深い)
もちろん製造や選別にかかるコストは増えるからそれなりに値段も上がりますが。
隠すほどのことじゃないと思うけどな。
むしろ定格品を定格外で使って不具合を起こして文句を言う顧客がよっぽど迷惑です。
Re:特殊スペック要求 (スコア:1)
うちも接点のメッキを厚くした特別仕様をお願いしてるものもあるし。(インテルにじゃないよ)
そういう個別の要求にできるだけ応えてくれるのがいい部品メーカーだと思います。
Re:特殊スペック要求 (スコア:1, すばらしい洞察)
単にNDAに従っているだけなのでは？
個別契約の幅はintelにとって隠したいことに思えます。
Re: (スコア:0)
その温度管理や何かが、Googleの企業秘密だからでわ。
Re:特殊スペック要求 (スコア:1)
設定温度くらいのことなら別に隠してないんですよ。The Registerの記事2ページ目には次のように書かれています。
で、他のコメントでも指摘されている通り、個別契約について明かせないというだけの話かと思います。
で、上記引用個所に続いてASHRAEの話が書かれていますが、要約すると、
というように単にASHRAEが考えるデータセンターの模範例として出されただけであって、当然ながらGoogleの秘密主義がどうこうとかいった話でもないですね。
Re: (スコア:0)
そもそもGoogleやIntelが別に隠しているわけじゃなく、
本当にそのようなことが行われていないだけということもありうるのでは？
元社員が勘違いしている（嘘をついている）だけの可能性だってあるわけですし。
隠すほどのことでも無いのに、否定してるのなら、そのようなことはなかった。
と考えるほうが自然ですよね。
typo? (スコア:2, おもしろおかしい)
↓
サンマイクロシステムズ
よりによって…
Re:typo? (スコア:1)
ついでに。タレコミには「データセンターの設定温度を1℃上げることでエネルギー費を4%削減できるとしている」とありますが、正しくは「1°F (0.56°C) 上げるごとに」(data center managers can save 4 per cent in energy costs for every degree (Fahrenheit) they raise the thermostat) です。
（The Registerの上記記述において「4 per cent」がThe Registerの別の記事へのリンクになっていますが、Data Center Cooling Set Points Debated [datacenterknowledge.com]あたりから引いてきた内容かと思います。）
Sustainable (スコア:1)
The Registerの原文では"Sustainable Computing"だそうで。
もうちょっとマシな訳し方はなかったものか。
「持続的コンピューティング」とか「継続的～」とか。
# 同じく原文だと"Sun Microsystems"と明示されている。
Re:Sustainable (スコア:1)
Re:Sustainable (スコア:1)
多いので自然な訳に感じました。
http://ja.wikipedia.org/wiki/%E6%8C%81%E7%B6%9A%E5%8F%AF%E8%83%BD%E3%8... [wikipedia.org]
実際 sustainable をぐぐるとしばしば「持続可能」という語とともに使われているようです。
http://www.google.co.jp/search?rls=ja&q=Sustainable&ie=utf-8&a... [google.co.jp]
データセンターを冷やしたいなら (スコア:1)
天然の空調がキンキンにきいてるし土地代もタダ同然。
隣に原発つくっても反対する住民も住んでいない。
僻地の経済対策にもなるから、データセンター優遇税制っていうのがあってもいいかもしれない。
Re:データセンターを冷やしたいなら (スコア:1)
従業員の福利厚生にお金をかけないと、誰も来てくれない気がしますが、
設備費＋維持費の節約分＞福利厚生費
になるんでしょうか？
ソフトウェアは遠隔メンテにすれば従業員の人数を抑えられるのか。
-- う～ん、バッドノウハウ？
Re:データセンターを冷やしたいなら (スコア:1, すばらしい洞察)
問題は、イギリスまでの光通信ケーブルの帯域不足くらいでしょうか？
水力と地熱発電だけで全電力を供給できているECOな国です。
---------------------------------------------------------
日本は環境庁の国立公園規制が無けりゃフィリピン並みの地熱発電は可能です。
Re:データセンターを冷やしたいなら (スコア:2, おもしろおかしい)
Re: (スコア:0)
われわれ保守担当者がメンテナンスに行くのですよ！
いや、むしろ行ってみたいかもしれない...
熱量 (スコア:0)
> データセンターの設定温度を1℃上げることでエネルギー費を4%削減できる
モデルとしては、内部で発生する熱と外部から流入する熱を、ヒートポンプで外部に汲み出す形になりますよね。
一般家庭と異なり、データセンターの場合、以下の関係が成り立つと思います。
内部で発生する熱量 >> 外部から流入する熱量
外部から流入する熱量は内外の温度差に比例しますが、内部で発生する熱量は温度によらずほぼ一定です。
この条件の下で考えると、温度差でヒートポンプの効率が変化するとは言え、設定温度の1℃の変化で消費電力が4%も変化するというのは信じ難いのですが、これは事実なのでしょうか。
(ひょっとして、データセンターの建物は断熱性能が悪いため、上記の式が成り立たない?)
# 以前、小規模なサーバ群の管理者に聞いた話では、エアコンの設定室温を変えても消費電力はほとんど変化しなかったそうです。
Re:熱量 (スコア:5, 興味深い)
http://japan.internet.com/webtech/20080922/12.html [internet.com]
なんてこともいわれてます。
この発想を私は大いに支持したい。
ビル内にある発熱機を廃熱するための手法を突き詰めると、実は巨大な防塵フィルターと送風機で事足りることなのではないかと。
Re:熱量 (スコア:2, 興味深い)
部屋の熱循環設計が良好で、空調の効率が高ければ、かなり差は小さくなります。
ラック1本のみで1600W程度で、夏季の空調の定常運転で300W程度というシステムを見ました。小さく囲った部屋です。
室温25℃前後でしたが、ハードディスクの温度はおよそ26℃から40℃以上まで筐体によってまちまちでした。
筐体やCPUのファンが止まれば室温が低くてもシステムは停止してしまいますし、無理にエアコン設定温度を下げて冷やすより、筐体のエアフローを最適化して室温を高めにするほうが効率が良さそうです。ついでにオペレータの夏の冷え冷え地獄からも開放されます。
Re:熱量 (スコア:2, 参考になる)
データセンターの立地に大きく左右されそうですね。
熱の移動を計算する場合では以下の式を使って計算するのですが、
Ｑ＝Ｋ・Ａ・Δｔ
Ｑ ：移動する熱量
Ｋ ：熱通過率
Ａ ：熱の移動が行われる表面積
Δｔ：熱が移動する物質間の温度差
チップを空気で冷やす場合、ＫおよびＡは一定と考えます。
そのため、熱を効率良く捨てるためには、
いかにチップと空気の差を大きくするかがポイントになります。
空気が流れない場合、この温度差はどんどん小さくなりますので、
絶えず空気を送り込み、最大温度差を維持できるようにします。
上記のことから、チップと空気の温度差を大きくとることが可能な立地においては、
送風機のみでの廃熱が可能となり、空調にかかる電力は軽減されますが、
温度差が小さい場所では、必要な風量が大きくることで送風機に必要な電力が増え、
大きな消費電力の削減にはならない（投資に見合わない）可能性があります。
全部を外気冷却にするのではなく、
外気冷却も含めた空調設備の導入だったら、
もうちょっと現実的かな。
答えはある。それを見つける能力が無いだけだ。
Re: (スコア:0)
たしかに屋外の空気が充分に綺麗なら、そして冷却対象が充分に有害ガス対策がされているなら防塵フィルターと送風機で事足りるでしょうね。
エアコンって単に冷やすだけではなく、屋外の空気と室内の空気を絶縁する役目もあるんだけどね。
屋外の空気に含まれる基盤や電子部品に対して有害な微量物質に継続的に晒されることを防いでいるんだよね。
Re: (スコア:0)
Re:熱量 (スコア:3, 参考になる)
.
簡単な例として、外気温25度の世界を考えてください。
a) 25度の空気を20度に冷やしてマシンルームに放り込み、26度で取り出す場合、
b) 25度の空気を25度のままマシンルームに放り込み、31度で取り出す場合、
aとbは同じ6度の温度差を使って熱をマシンルームから取り出しています。部屋からくみ出せる熱量は一緒です。熱せられた空気自体はそのまま外部に放出するとしましょう。bの場合は空気を冷却する必要が無いので、その分放熱にかかるエネルギーが少なくてすみます。
.
もちろん、この例は単純化しすぎていますが、要点としてはそういうことです。
一般にマシンルームに取り込む空気の温度・湿度は厳密にコントロールされていますが、夏冬で全く同じ、というわけではありません。ここに余裕があればその分、余計な冷却・過熱を必要としない分、マシンルームの運用にかかるコストは低く抑えることができます。
エアコンの場合は「機械が発生させた熱を、実質的にエアコンだけで放り出す」動作になるため、ここまで効率が良くありません。エアコンで冷やした空気を直接PCに叩き込み、そこから出てきた空気をそのまま外部に放出する、なら電気代は大幅に変化したことでしょう。
fjの教祖様
Re: (スコア:0)
> エアコンで冷やした空気を直接PCに叩き込み、そこから出てきた空気をそのまま外部に放出する、なら電気代は大幅に変化したことでしょう。
なるほど。確かに、件のサーバルームを冷却していたのは一般的な空調装置でした。
通常の居室用エアコンとは構造が違い、熱源の近くで吸熱するために設定温度がエネルギー効率に大きく影響するんですね。
「温度差でヒートポンプの効率が変化する」要因を無視したのが間違いだったということで、納得しました。
チップより (スコア:0)
チップだけじゃなくていろいろやってますね (スコア:4, 参考になる)
このときの記事はGoogleのサイト [google.com]をソースにしてるんですが、そこに概念的な説明 [google.com]が出てます。サーバーそのものでいうと一番効率が悪いのは電源ユニット、次が整流回路だと言ってるのでコンデンサーだろ？という主張はGoogleの言ってることと矛盾しないですね。Googleはこの二つを独自仕様にしてまずサーバーそのものの使用電力を押さえてるそうです。あとはグラフィックチップをサーバに載せないとかラックを工夫してファンの数を減らすとか書いてあるので気になる人はリンク先を読んでください。平易な文章で書いてあるので、ハードウェアにそれほど詳しくない人でも理解可能です。
で、ここまでやってるんだから世界有数のデータセンター所持企業として、Intelに特別仕様のチップを要求していても不思議は無い、という感想を持ちました。
Re:チップだけじゃなくていろいろやってますね (スコア:1)
Re:チップだけじゃなくていろいろやってますね (スコア:1)
GREEオープンソーステクノロジー勉強会でさくらインターネットの方がお話をしていて、消費電力のグラフがあったので、それから読み取ると、PUE 2.2くらいでしたね。
Re:チップより (スコア:2, 参考になる)
ディスクの温度耐性は思ったより強い、というのは確か「Googleを支える技術 ‾巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ) [amazon.co.jp]」の5.5章にも載っていましたが、
http://research.google.com/archive/disk_failures.pdf [google.com]
によると「温度による故障率の有意な違いは見当たらなかった」とのこと。
なので、問題はチップになったのではないでしょうか?
fjの教祖様
Re:チップより (スコア:4, 興味深い)
この論文をもとに「ラックマウントサーバってファンがオーバースペックじゃね？静音化しようぜ？」と言っていた人がいましたが、資料を見る限りでは、さすがにHDDも50度を越えると故障は増えるようです。
実際、問題にされるのはエアフロー不足による蓄熱で、室温が高くてもエアフローが十分あればサーバは動きつづけます。アクシデントで一時的に室温が45度になったときも、ファンがうるさいちゃんとしたラックマウントサーバは動いていました。適当に自作したPCはおかしくなっていましたが。
エアフローの不足は怖いもので、いくら周囲が涼しくても過熱してしまいます。昔の郵便貨物車で、控え室のスチーム暖房の配管が蓄熱現象で過熱して床板を焦がして火災になったことがあったそうです。有価証券1億円分程度損害が出たそうですが、蒸気でも熱が溜まると怖いことになるようです。
冷やしすぎは非効率ですが、ホットスポットを作らないことが重要です。
>なので、問題はチップになったのではないでしょうか?
そうそう、特定のチップにヒートシンクが付いていなくて、あっさり止まるシステムもありましたっけ。後付けしましたとも。
Re:チップより (スコア:1)
Re:チップより (スコア:1)
1) FAN はあるんだろうか? 実は無いのではないか??!
2) 電源は、Blade とかと同様、UPSの段階で直流に直したら、そこから先は全部直流扱いなのではないか??!
.
1) FANはあるのか??
これはマシンルームと言うものをデザインした最初の段階からしてどうして必要なのか?? という思いがあります。「ちゃんと作られたマシンルーム」において、エアフローは必ず床下から。しかも、ゴウゴウと強風が吹きつけてくるはず。であれば、急速冷却が必要なものを全部ラック下部分に配置するならば、フィンは必要だろうけれどファンは不要なのではないか??
マザーボードからして自分で買ってきて組み立てている Google ならば、「小さなFANをあちらこちらにつける」よりも『部屋』単位で風を巻き起こしたほうがコストダウンなのではないか??
2) 電源のAC/DC
「交流を」引っ張り出すタイプのUPSの場合、電池の充電のためのAC/DCと、緊急時に電力を供給するための DC/AC回路を持つ必要があります。しかし、そもそもPCベースのサーバの中にACで動作する回路はありません。ラック単位でAC/DCを行い、ラック内部の取り回しは全部DCにしてしまうならば、小型電源をいくつも搭載するよりもはるかに「ラックを軽量化」する事ができるはずです。直流の大電流が流れる件に関しては「プロだけが扱う」って事で。
電源を一箇所に集められるのであれば、冷却風の当る順序をコントロールしてやれば、温度的な無茶度は下がるはずです。また、小さなAC/DC回路を沢山持つよりもエネルギー効率も良くなるのではないか…
.
とこのように考えると、電源の寿命は縮まらないようにできる、ファンは最初から無い可能性が。
「誰か教えて」と書いて教えてくれるほどGoogleの機密管理は甘くは無いだろうが、気になります。
fjの教祖様
"HDDの故障に温度は関係ない" (スコア:1, 参考になる)
googleの元の発表は温度と関係がないと言っているわけではなく、
45度より低い温度域であればエラー発生もそれほど多くはなく（それ以上では多い）、
また経年劣化も40度より低ければそれほどではない（それ以上では多い）、
という極めて限られた温度域での話で、温度についての結論部で「温度によって寿命が変わるという
これまで流布してきたイメージは、要するにデータセンター等の温度管理が酷かったってことじゃないの？」
と皮肉で締めくくっていたりしますよね。
当時の一部メディアや「HDD 温度」でgoogle先生にお尋ねすると出てくるようなページで
かなり極端というか、誤読と言っても良い紹介をされているせいで
「温度と関係ない」という結論だと誤解されてしまっていますが。
でもお高いんでしょ？ (スコア:0)
コストもそれなりに上乗せで売るのだろうから良いお客じゃないのかな。
こういう分野でも競争力の無くなったAMDが情けないという気も
Re:でもお高いんでしょ？ (スコア:1)
チップだけ交換しろ、じゃないですよね普通。
要求した仕様を満たしていない構成部品のせいで不具合が起きたのなら、
構成部品だけではなく。ユニット単位で交換保証しろというのが普通だと思いますよ。
それがマザーボードなのかサーバー丸ごと(またはストレージの中身まで!?)なのかは解りませんが・・・
だから資金力が無いところはこういう話に乗れないと。でも乗ったらそれなりの数がでるのでうまいと。
でも不具合でたら交換コストが高いよな、製造ライン・選別ラインがんばれよ、んなむちゃなーとなるわけです。
#いやだなあ
Re:でもお高いんでしょ？ (スコア:1)
どうでしょうね。不良品率を分析して、黒字になるというポートフォリオは組み立ったから Intel もOKをだしたのでしょうし。
昔から機械に組み込むパーツ用とかに、そういう選別技術は各メーカーとも持っているでしょうから、言うほど無茶な要求でもないと思いますし、『がんがれー』の一言で終わるほど「はしご即外し」状態でもないと思いますよ。
# 同じ事を日立やNECに言った場合に、何が起こるのかはともかくとして。
fjの教祖様
Re:でもお高いんでしょ？ (スコア:1)
多分、そうでしょうけど不良率なんて水物ですから、いつ爆発したり収まったりするか解ったもんじゃない。でもそれでもこの線なら行ける!!と決断できるだけの工場管理能力がIntelにある(逆にAMDに無い)となるとAMDも工場切り離したというし、ますます差がひろがってしまいますね・・・
選別はまだいいですけど選別しても良い弾が出ないこともあるんでね。こういうのはほんと自社で工場もってないと対応できない話ですよね・・・
#日立もNECも多分お断りだよね
Re: (スコア:0)
「きっちり要求通りの数の不良品を別の箱に入れて送ってくる」って時代はもう終わったんですね…
Re: (スコア:0)
まあ、元々の体質次第って所もあります。
元々の制限がゲタを履かせていたのかサバを読んでいたのかで、オイシイ話になる事もヤバイ話になる事も。
ミリタリースペックみたいなもん？ (スコア:0)
Re:ミリタリースペックみたいなもん？ (スコア:1)
複数のスペックを用意してますよね。
Re:Big Brother (スコア:1)
# そもそも、Googleはハードウェア市場の独占はしてないと思いますが。特級の上顧客ではあるでしょうけど。
というか (スコア:1)
＃AMD、VIA、NVidiaもある？大手PCメーカーから「製品」を買う「一般客」の話ですがな。
Re:というか (スコア:1)
PCに限ったことじゃないけど。
Re: (スコア:0)
と書いてあるのだが。
「高くても結構」や「山のように買うぜ」が一般客のマインドかどうかはともかく、
そのオファーを出す方法が一般客に知られていないカスタムモデルってのは、
絵に描いた餅のようですわね。
Re:というか (スコア:1)
# 全部一般客に適用しなければならないなら、「業務用ハード」って存在してはいけないのでしょうか。
Re:というか (スコア:1)
> あと、交渉力もあって、金払いも良い客が自社運営のためにカスタム品を要求する事が何が悪いんでしょうか。
要求するのも提供するのも悪いことでは無いと思いますが、
手元のCPUが選別落ちした製品かもしれないと考えると微妙な気分です。
Re:というか (スコア:2, すばらしい洞察)
Intelは以前から一般向けにも堂々と選別品をプレミアム価格で提供しているのに、今になってそんなこと言っても理由になっていないのでは。
#そりゃ、Extremeとは選別基準が違うだろうけどさ
うじゃうじゃ
Re:というか (スコア:1)
どこの共産主義者だあんた。
-- Tig3r on the hedge
Re:というか (スコア:1)
出入り業者に「軍事用」「ダム制御用」「医療用」「原発用」などと注文を付けるだけだと思うのだけど。
モノは同じだけど全品検査されてたりする。