Facebookのデータ保存用サーバーラック、HDDを積み過ぎてキャスターが壊れる 44
ストーリー by hylom
金属の塊 部門より
金属の塊 部門より
Facebookが、同社が構築しているコールドストレージ（バックアップ専用のストレージ）システムについてブログで詳細を明らかにした（The Bridge）。
このコールドストレージはFacebookユーザーが投稿した画像などを保存する目的で構築されているとのこと。ユーザーが投稿する写真の数は増え続けているため、効率的かつ安全にデータを保存しておかなければならない。そのためFacebookはデータセンターの設計といったインフラ面までも含めて独自のシステムを開発して利用しているという。
Facebookはデータセンター向けにオープンなサーバーやストレージなどを開発するOpen Compute Projectを立ち上げており、ラックやストレージサーバーはここで公開されているものをベースにしているという。ストレージサーバーは2Uに15台のHDDを搭載できるようになっており、合計41Uの1つのラックに計16基、240台のハードディスクを搭載できるシステムを使用しているそうだ。ところが、このラック2つ分、480台のハードディスクを搭載した重量は約1.1トンという重量になり、ラック移動用に取り付けられているホイールが壊れるという事態も発生していたという。
そのほか、データを冗長化させつつもコピーを保持する数を削減するためより効率的なシステムを開発したりと、さまざまな工夫が行われているようだ。
JPEG写真データの「重み」を提唱したい (スコア:4, おもしろおかしい)
facebookのユーザ投稿写真データですか...
巨体の大学生たちの全身写真を保存すると
JPEG(PNG)データ1ファイルにつき10グラムずつHDDが重くなるのでは？と
発想した僕はそろそろオカルト電算脳になってきたようです。疲れのせいか。
Re:JPEG写真データの「重み」を提唱したい (スコア:3, おもしろおかしい)
JEPGは非可逆圧縮で情報を失いますが、ランダウアーの原理によれば必ず環境にエントロピーを捨てる必要があります。
この際、有限温度では熱流に伴ってエネルギーが環境に拡散しますが、一般相対性理論のために、平衡に戻るまでの間、記録媒体は軽くなります。
この軽くなった分がJPEGファイルが持っていた重みだと考えられます。
ちなみに1bitの消去には kB T log2 (kB:ボルツマン定数、T:温度)のエネルギーが必要なので記録媒体が静止しているなら、1bitの情報消去に伴う質量の変化分はm=kB T log2 /c^2 (c:光速)なので、T=100Kでおよそm=1.1*10^-38 Kgです。
Re:JPEG写真データの「重み」を提唱したい (スコア:2)
ええと、あまりに高尚な文章なのでギャグなのか正論なのかオカルトなのか、
僕には判別不能になりました。自分でオカルトとか言い出して、反省してます...
Re: (スコア:0)
大丈夫、ちゃんと理解して話につて言ってるようです。（ちゃんとレスついてますし）
ギャグも正論もオカルトもみんな紙一重ですから
＃大丈夫、おれもわかってないから・・・
Re: (スコア:0)
まぁでもコピーだの転送だのその他OSの処理だので発生する情報量の変動や発生熱量からすれば誤差ですよね。
現状の量子コンピュータを操作するような感じで厳密にビットを操作してかないと他からの影響に埋もれるのは必至。
しかし量子コンピュータのような操作系にしても演算領域の外側で同様に大量のロスがあるので、
その手の厳密な原理が実効性を持つ領域までコンピュータが省エネ高効率化するのは当分先ですね。
Re: (スコア:0)
むしろ質量に隠されている情報の方に興味が有る。
わずかの質量でも情報に変換されるとすると、とんでもない量になるようだが、一体そこにどんな情報が書かれているのだろう。
……お宝画像とかだろうか？（違います
Re:JPEG写真データの「重み」を提唱したい (スコア:2, おもしろおかしい)
磁性体であるHDDでは重さは変化しませんが、半導体記憶素子である
SSDの場合だと、書き込んだ電荷分だけ重くなるんですよ。
大量の書き込み時には、事前に棚を補強する必要が出る場合があります（きり）
そういうのは普通 (スコア:2)
アンカー打って留めるだろ？
・・・て思ったんですが、どーなんでしょ？移動式にする意図がわからん。
つかテープライブラリにでも移行したら？
そんなに古いものはそうそうほじくりだされる事も少なかろうと思うが。
＊＊たこさん＊＊・・・
Re:そういうのは普通 (スコア:1)
Re: (スコア:0)
１トンを超える重量のラックを日常的に移動する会社ってどうなんだろう？
動力も搭載して自走しないと無理じゃないかな。
転倒でもしたら死傷者が出るね。
１トンを超えるラックを日常的に移動する風景 (スコア:2)
facebook幹部「貴様、アジアNo4地区の先週のユーザー増加がたった4万人か！ノルマの半分だぞ！」
facebook社員A「申し訳ありません！」
facebook幹部「罰として、データ保存用サーバーラックを引っ張って室内20周だ！」
facebook社員A「ひ！昨日キャスター1個こわれて、キャスター3個ですよぉ...わかりました！20周行きます！」
こうしてfacebook 営業部員たちの動かすラックはキャスター故障が多いのであった...。
Re: (スコア:0)
重いコンダラ代わりかよ。
＃あれはコンダラじゃねぇ。
Re:１トンを超えるラックを日常的に移動する風景 (スコア:2)
重いコンダラは円筒形のローラーに見えるけど
内部はHDDがぎっしりつまったデータ保存サーバーラックなのでありました。
「これぞ野村克也直伝、データ野球のためのデータ蓄積！」
（時代考証では野村克也氏と巨人の星、前後逆でしたかね）
Re: (スコア:0)
> つかテープライブラリにでも移行したら？
Facebook、Blu-rayディスクを使った低コスト＆省エネなストレージシステムを発表
http://hardware.srad.jp/story/14/01/31/0352219/ [hardware.srad.jp]
Re: (スコア:0)
お国柄なのかもしれませんね。
仮に全く地震が無いなら、移動できるようにした方がメリットはあるかも。
ファイルサーバー (スコア:1)
ラック込のシステムで買う(レンタル)のが今まで行ってたところではほとんどですが、それでキャスターが壊れたのは見たことが無かった。
ファイルサーバーだとどうしても目いっぱいDisk詰め込むのでHDDの台数は似たようなもんだと思う。
良く見てたのは確か3uか4uで一段に14個Disk積んでるパターンが多かった、こちらは2Uに15台すかかなり詰め込んでますね。
一般用のラック(17"?)だとキャスターが弱いのとかもあるんでしょうね、自前でいろいろやると安く上がるけど思わぬところに穴があるってことになるのかな。
Re:ファイルサーバー (スコア:1)
一般用のラック(17"?)
一般的なラックは、19インチでしょう。
が、この場合は普通の19インチラックではなく、Open Compute ProjectのOpen Rackです。
21インチだったりするんじゃないかな。
一般的なラック云々と言うのは当たらないと思います。
Re:ファイルサーバー (スコア:1)
あ、よくあるのは19インチでしたね。
素で間違えてました、訂正ありがとうです。
OCPと言うのも今回ぐぐるまで良く知らなかった、使ってないとわからない・・・
Re: (スコア:0)
キャスターが壊れなくても、そのぶん床にダメージがいったりしないんだろうか
Re:ファイルサーバー (スコア:1)
ラックの重量が床耐荷重以上でなければ問題は無いはずですね。
#耐震性はきっとまた別の問題。
Re: (スコア:0)
キャスターだと接地面積が小さくなるので、重量が集中して床材が歪むとか問題あるのでは...
Re:ファイルサーバー (スコア:2)
専門の業者がストレージの筐体を搬入するときは、キャスターで転がすんですが、そのとき床を傷めないように鉄板を敷いたりしますね。
Re:ファイルサーバー (スコア:1)
>キャスターだと接地面積が小さくなるので、重量が集中して床材が歪むとか問題あるのでは...
設置するときにはキャスターひっこめておくので床も大丈夫です。
.
重量物搬入出のときは養生必須ですね、運送屋さんも大体心得てるし。
Re:ファイルサーバー (スコア:2)
EMCの筐体にはキャスターを引っ込める機構はありませんでした。
その代わり、設置というか耐震固定はチャネルベースに治具を介してねじ止めしてました。
普通の重量物だと床養生はプラスチックだったのが、ストレージだと鉄板だったので、ああ本当に重いんだなあと感慨があったのです。
Re:ファイルサーバー (スコア:1)
鉄板って、いわゆるSUS板のことかな。
設備搬入ではよく使うので、搬入口に常備しているところもありますね。
Re:ファイルサーバー (スコア:1)
私が行ったことがあるいくつかのデータセンターだと、
ラックの搬入前に、
設置後の予定総重量と
ラック当たりの必要電源容量と、発熱量を
確認していました。
.
これらはキャスターなしのものでしたが、キャスター有りでも
重量と必要電源容量くらいは事前に確認するんじゃないかなぁと。
Re: (スコア:0)
そもそも、小さくなくて、頻繁に移動するわけでもないラックでキャスターに載せてる意味が解らないんですよね。
Re:ファイルサーバー (スコア:1)
一度サーバー室での搬入搬出レイアウト変更とかで、ラックの移動作業やってみたらキャスターのありがたみがわかるよ。
運送業者でバイトをしてればそのうち当たるかもしれません。
Re:ファイルサーバー (スコア:1)
今回は、そーゆーサーバ室レベルの話じゃないでしょう。
建物から専用設計のデータセンタレベルの話。
データセンターのラックには、キャスターが無いのが一般的じゃないかな。
空調の関係もあるので、ラックごと動かすようなレイアウト変更はやらない。
やるとしても、キャスターはその時に付けるだけで、終わったら外す。
Re:ファイルサーバー (スコア:1)
そういうラックなんだ。
いつも使うラックだとキャスターはねじ込み式で、移動後は本体フレームにねじ込んでひっこめ。
レイアウト変更無くても古くなったら廃却で、外に運び出すときにまたキャスター引っ張り出してます。
最近は耐震対策で固定金具もあるので色々めんどいけど、基本的な構造は似たりよったり。
他所様のDCにも設備預けてるけどそこも同じラックばかりだったので、そういうのは想像も付かなかった。
Re:ファイルサーバー (スコア:2)
いわゆるサーバ室ではなく、データセンタと名乗っているところで、ラックに車輪が付いてるのを見たことがないですね。
例えば、ラック下面から吸気してラック上面に排気するDCもあります。
こういうところは、一度ラックを設置したら動かさない前提。
吸気・廃棄を行う口が固定なので。
また、ラック前面吸気・背面排気ってとこもあります。
こういうところは、ラック横面を合わせて隙間なく並べている。
そうしないと、排気側の空気が吸気側に戻ってきてしまうので。
当然、こういうところも一度設置したラックは動かしません。
てか、動かせない、と言うのが正確かもしれません。
ラックを動かせる様にしているDCって、どういうところなんでしょう?
Re:ファイルサーバー (スコア:1)
>ラックを動かせる様にしているDCって、どういうところなんでしょう?
設備を預かって管理するタイプのDCだと、契約に応じてラックごとの搬入出はあります。
設備の劣化や障害で入れ替えることもあります。
というのはこちらが出入りしている日本の地方にある小さいDC数か所のことなので、そちらがご利用のメジャーなところとは違いますね。
キャスターが無いラックに収めた機器の搬入だと、筐体の上にネジで丸いわっかをねじ込んでそこをフックして釣り上げて搬入するのは視たことがあります。
それはサーバーではなくてでかいUPSでしたけど。
Re: (スコア:0)
これはニアラインデータを置くためだけの専用のDCで、打ちっぱなし平屋。おそらくラック1本を1単位で組み立て、キャスターを付けて定位置に順次設置するんだと思う。ラックを仕込んだ後は個々のHDDの交換程度しかやることがないっぽい。
自動車をラインから自走させて港に並べるのと似たようなことをしてるんじゃないかなあ。普通はラックを置いたままノードを抜き差しすると思うけど、自社専用DCで専用サーバで1ラックが1ノードなんだったら設置場所にパーツを集積して組み付けていくのは無駄で、ラックの前でパソコンを組み立て始めるようなことになってしまって、意味がないんだろう。
Re: (スコア:0)
きっとFacebookほどの規模と独自仕様なら、キャスターなんてものはやめて、フォークリフトで移動したらいいんですよ。
Re: (スコア:0)
手動の小型フォークリフトみたいな奴ね。
大型タイプより何故か高いが、オフィスやDC環境で使える小さい奴もあります。便利だよ
Re:ファイルサーバー (スコア:1)
荷物置き場や設置場所を行き来するのは某所で就業したときに目撃してた。
その構内でも梱包を開いて機器を設置するために持ち上げるとか
アンインストールして再梱包する上げ下げは複数人で持ち上げていた
のですが、構内での持ち上げ下げも担ってくれる道具は
広く普及しているんでしょうか?
// イメージとしては貨物トラックの最後部が油圧で上下する構造
Re: (スコア:0)
まともなデータセンターやサーバー室なら、ラックのレイアウト変更なんか必要ないから。
まともなデータセンターなら、耐震のためにコンクリートのスラブにビス打ちしてボルト固定するから。
場所貸しのデータセンターにキャスター付のラックが持ち込まれることはあるけれど、結局キャスターが動かないように固定されるし、中身を丸ごと載せたままキャスターでラックを移動なんてやらないよ。
「便利だから」とかいうレベルの話ではなく、危険だよ。
もちろん、小型のラックに何台かの機器を搭載してて、人間が軽く押して移動できる程度ならいいのだろうけど、１トンをキャスターで移動って無いなー。
Re:ファイルサーバー (スコア:1)
まともなところはすごいんですね。
.
＞結局キャスターが動かないように固定されるし
.
まともじゃないサーバー室や普通の部屋ではラック設置後はキャスターひっこめるかいっそ外してますから設置後にキャスターでは動かないのでさらに動かないように固定するケースは見たことが無いです。
まともじゃないからだろうね。
キャスターは搬入出などで必要なときにだけ出します。
.
固定はそこのセクションでの耐震対策に従って行います。
今ままで見てた大概のまともでないサーバー室やDCだとアクセスフロアなのでコンクリートのスラブとやらにまで届くボルトで固定するようなところはなかった。
耐震に厳しいところだと大枠の床下配線終了後、設備設置してからアクセスフロア自体を治具を介してボルトでコンクリの床に固定、その後ラックも治具を介して床板に固定してました。
#このネタエンドレスっぽい
Re: (スコア:0)
19インチラックも扱う電機盤屋ですがウチの場合を。
・搬入は玉掛け(クレーン吊り)やリフター(重いもの用の台車)で運ぶ。
・設置はチャンネルベース(ラック専用の土台)を床のコンクリに固定してその上にボルト止め。
↓は電気盤(キュービクル)の場合ですが、ラックでもこんな感じです。
http://kinichijr.ti-da.net/e5626708.html [ti-da.net]
#電気系か所謂ベンチャーIT系かで考えが異なりそうな…
Re:ファイルサーバー (スコア:1)
半導体系の工場にいた頃はラックじゃないけどそんな設備搬入でした。
あの時あった設備だと比較的小さくてキャスター付きのものは、設置後にキャスターをひっこめることは無くロックした上に治具で固定するパターンだっけ。
Re: (スコア:0)
4Uで60本乗る奴もあるがこいつらはラックもセットで売ってたと思う。
奥行きが1200～1400mmくらいのラックだったはず。
http://www.netapp.com/jp/products/storage-systems/e5600/index.aspx [netapp.com]
http://www.ddn.com/products/storage-platform-sfa12kx/ [ddn.com]
http://www. [imation.co.jp]
地震を考えると (スコア:0)
日本では、500Kの重量(ラック2つ分で約1.1トンならその半分)をキャスター付きで運用するのは難しいんじゃないだろうか。
昔アメリカで岩盤の中地下７階のデータセンターを見せて貰ったことがあるんだけど、コンクリートの土台にラックが載せてあるだけでボルトで固定されていなかった。
あまり地震の事を考えていない印象を受けるので、もし地震が起こったらダメージは大きいと思う。
Re: (スコア:0)
1978年宮城県沖地震では当時のコンピュータセンターのいくつかでラックの移動や転倒などの被害がみられ、設置時の耐震工事の重要性が再認識された事例だったと思います。
その後も何度か似たような事例を重ね、80年代半ば以降には日本のそういう施設ではラックを床に固定するのが常識になっていたと思いますが。
えぇ！まだHDDなんか使ってんの？ (スコア:0)
なんかぶよぶよのブロブに電極が無数に刺さっているバイオメカニクスな記憶媒体を想像していたぞ