スパコンに足りない部品、それは人 100
ストーリー by reo
減らして増やして 部門より
減らして増やして 部門より
ある Anonymous Coward 曰く、
IT 技術者たるもの一度は触ってみたいスパコンであるが、今のスパコンに一番足りない部品はそれを使いこなす人材 (特にミドルエンドのスパコン技術者?) だとの事 (ニューズウィーク日本語版の記事より) 。
スパコン利用の実情やプログラミングの際のノウハウ、想定外なトラブル等、経験者の話を是非お聞かせ願いたい。
人柱 (スコア:5, 参考になる)
Re:人柱 (スコア:1)
Re:人柱 (スコア:1)
ハカイダーみたいに脳髄を演算装置代わりにするんじゃないの?
らじゃったのだ
Re:人柱 (スコア:1)
組み立て終了時に出られなくなる人が1人必要なので、中で干からびてるって噂の話かと思ったのは内緒です
懐かしい。年刊AhSCI! ネタですね。
スパ根ドラマ (スコア:5, おもしろおかしい)
今日もスパルタ式の教育により、スパコンの部品となるべく技術習得に燃え上がるのであった!
Re:スパ根ドラマ (スコア:1)
シリコンバレー養成ギプスとかですか?
Re:スパ根ドラマ (スコア:1)
稲妻落とし禁止(`・ω・´)
Re:スパ根ドラマ (スコア:1)
もしかして: 銀河鉄道999 ねじ
経験談 (スコア:5, おもしろおかしい)
機械の体がただで手に入るというキャッチセールスに引っ掛かって
女の子に付いて行ったらスパコンの部品にされた
Re:経験談 (スコア:2)
Re:経験談 (スコア:2)
ARM
Re:経験談 (スコア:1)
機関車はいいけど、あんな本線なのにトラブルばかり起こる路線は嫌だ、、、
スーパーコンピュータも使いやすくなるんじゃ (スコア:3)
同一ノード内の並列化にはOpenACC
http://www.openacc-standard.org/ [openacc-standard.org]
とかOpenMPといったものがあるし、ノード間ではOpenMPIといった規格があって
これらは普通のPCでも使えなくはない状況。
敷居が下がってきてるんで、割と普通のプログラマなら少し頑張ればスーパーコンピュータで
コードが書けるようになりつつあるんじゃないかな。
こんなこと書くと、いや物凄いスキルが要るんだ無理無理絶対無理という人も出るに違いないけれども
専用のスキルをもった職人しかコードが書けないスーパーコンピュータってのも意味ないですよ正直。
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:2, 参考になる)
アプリケーションを書いて使う人がいるいないの問題ではなくて、中規模のシステムを、きちんと性能を引き出せる形で構築したり、要求水準に合わせたコストで維持管理できるような、そういう人材がいるいないの問題なのです。
一見すると中規模というのは大規模と小規模のノウハウを折衷すれば良いように思えて、実際に使う人はもちろん商業的に管理やってる人ですら、その程度の認識しか持っていないことが多いですが、
アホみたいに金を注ぎ込む一品もののシステムとも、問題おこしてなければ問題ない並鯖とも違うアーキテクトやマネージメントが本来は必要で、そこに気がついてしまった不幸なユーザーが、そういう人材の不足に気がついて嘆いているというストーリーなのです。
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:1)
そんな気がするけど実際のところFORTRANが使えないと使い物にならないよ
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:2)
> 結局のところ自分のやり方を決して変えようとしない連中はいつの時代にもいて、
> そいつらを説得しようなんて考えるのは時間の無駄と。
そーそー。
こんなとこに、こんな書き込みしてるのと同じくらい
時間の無駄だ。
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:1)
潤沢に技術者を投入できるハイエンド、
普通のプログラマが少し頑張ればなんとかなるローエンド、
その中間のミドルレンジを支える技術をもった人材が不足。という話題でしょう。
企業のCAEの多くは商用ソフトの利用が主で、ハードウェアもソフトが動くものという縛りで調達することが多いです。
自社で超並列に最適化した独自のソフトを作っているところもあるけど、シミュレーターは作れば良いというものでなくて
実世界とのマッチングとか、膨大なノウハウが必要になります。
必要となるスキルも、それこそ雲泥の差で分布するので、なかなか一括りでは難しいと思います。
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:1)
道楽で使ってみた事はあるけど、個人で試しに使ってみるレベルだと、頑張っても10ノードに届かないでしょ。既存のアルゴリズムを、スパコン用に置き換えたりするには、数学的センスと専門教育が必要だと思うよ。
単独のPCで動作させているときと違ってノード間の通信コストが大きい分、ノード間の通信を減らすような最適化も必要。
1~数スレッドでしか動かしていないロジックを分解して、数百~数千スレッドにばらす事も必要。
場合によってはこの過程で根本的なアルゴリズムの変更も必要だったりする。
途中でノードが死んだりした場合とかを想定して、計算途中データの保存とかも考えなきゃいけない。トランザクション数もデータ量も生半可な量じゃない。
そのあたりのノウハウはスパコン固有のものだし、専門にやっている人が設計しないと、中々厳しいと思うな。コーディングするだけなら、いくらでもできるでしょうけど。
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:1)
最近のスパコンのほとんどはIAアーキ&Linuxなので、エミュレータもなにもなく簡単に手に入りますよ。
プロセッサは Intel EM64Tがほとんど → http://www.top500.org/charts/list/37/procfam [top500.org]
OSはLinuxがほとんど → http://www.top500.org/charts/list/38/osfam [top500.org]
Interconnectは最近InfiniBandが増えてるけどGigabitEtherが最多 → http://www.top500.org/charts/list/37/conn [top500.org]
Re:スーパーコンピュータも使いやすくなるんじゃ (スコア:3, 興味深い)
最近のスパコンでのプログラミングの特殊性はアーキテクチャ/OS の特殊性じゃなくて、
上のnarunaru さんのコメント [srad.jp]のようにコア/ノード数が多すぎることに起因するんですよ。
# 一般的にどういう理解なのかは知らないです。あくまで自分の理解。
~数10並列で十分にスケーラビリティかだせても、数百とかそれ以上になると
narunaru さんの書いたように通信量が増えてきてそっちがネックになるとか、
計算自体の速度が速くなりすぎて通信のオーバーヘッドが無視できなくなるとか、
比較的軽い処理だったので並列化する必要がなかったはずのところがネックになるとか
その他もろもろでスケーラビリティが悪くなるってのが普通です。
スケールを大きくするほど問題が(増えていく/顕在化する)ってのが本質的な難しさだと思います。
そーゆーのを回避するために全てのコアに分散させて行っていた計算を
x %のコアだけで行い、残りの 100 - x % は同時進行できる別の計算をすることで
実質的な通信量を減らしたりする、みたいな面倒なマネをしたりするのは
もはや多分普通のこと。
# 大体ロードバランサ的なことを考えないといけなくなる。めんどい。
あとは一品物の巨大なものだとプログラムを書くときにスパコンのネットワーク構成
まで考えないといけないってこともあります。小さいクラスタなら全ノードが
一つのハブにぶら下がっているのが多分普通ですが、超大規模な奴だとまず間違いなく
そんなことにはなっていません。物理的に近所なノードとしかつながってないでしょう。
その場合、all to all みたいな通信をしようとすると小規模なクラスタの場合より
実質的に通信量が増えてしまいそうので、プログラミングするときにうまく考える必要が
あります。あとは上の narunaru さんのコメにもあるように、数万とかコアがあれば
確率的に使っている最中の故障確率も必然的に上がるので、そういうエラー時のデータ
保存も考える必要が発生するでしょう。小さいクラスタならこの辺の悩みとは無縁です。
# 考えてあってもあんまり害はないとは思いますが。
スパコンでまともにスケーラビリティが出るプログラムの開発ってムズいんですよ。
こんなふうに。真面目にやると汎用性がなくなりがちなのはまぁしょうがないと思います。
ちなみに自分はこーゆーのはやってないです。
つーか絶対やりたくないし、マトモにできそうにもない。
これってそういえば元記事の内容と関係無い気がしてきた。
Re: (スコア:0)
普通のPC+GPGPUでもパフォーマンスを引き出そうとすると結構スキルがいるんじゃないなかなあ
金だろ金 (スコア:1)
他のあらゆる部品は(もちろん人も)それで調達できる
Re:金だろ金 (スコア:2)
その金で、本来国内で成長するはずの人材が、海外に出ていってしまうって話なのに・・・
Re:金だろ金 (スコア:1)
続きは有料サービスで
Re:金だろ金 (スコア:1)
ダウト。
時間はお金で買えない。
いったいデスマを何度繰り返したらわかるんだね?
Re:金だろ金 (スコア:1)
時間がお金で買えるからデスマを繰り返すのであって
買えなければ、みんな諦めるからデスマにならない。
Re: (スコア:0)
ぜんぜん粒度の違う話を持ち出してドヤ顔されましても。
Re: (スコア:0)
金と時間と、それを使いこなす人材が必要ってことですね。
Re:金だろ金 (スコア:3)
金と人と時間がリニアだと勘違いする文系人間のせいだな。
傭兵に依存するのか (スコア:1)
エリア88では、
戦闘機は金で買ってこれるけど、動かすパイロットの養成は簡単に出来ないので外人部隊を雇っていたのでしたな。
人材の育成を自前で出来ないというのは、それだけで詰んでいるのかもしれない。
あのマンガの名言をIT業界に当てはめるとなかなかだと思う今日この頃。
スパコン作る奴はシャバの人間さ
ここはシャバじゃない
三途の川の向こう側だ…
Re:傭兵に依存するのか (スコア:1)
消えちまうまでにFORTRAN言語を覚えるよ。
Re:傭兵に依存するのか (スコア:1)
Re:傭兵に依存するのか (スコア:1)
> 今でも「人(エンジニア)は正社員の採用通知でいくらでも集められる」と思われているのではないですか。
とんでもない! 派遣会社に声を掛ければいくらでも集められると思っています。
Re:傭兵に依存するのか (スコア:1)
とんでもない! 派遣会社に声を掛けて集めるのは人ではありません.
Re:傭兵に依存するのか (スコア:2, すばらしい洞察)
とんでもない!
送り込まれてくるのは人ですよ。
ただ…、エンジニアじゃないだけです(泣)。
# 途中で逃げ出すとか、社会人としてどうよ? ってのもいたけど、まぁ、人ではありましたよ。
# あぁ、「人でなし!」って言い方もあるか(笑)。
Re:傭兵に依存するのか (スコア:1)
Re:傭兵に依存するのか (スコア:1)
研究者は派遣してもらえるようだけれど。
http://www.intec-ltd.co.jp/298job/index.shtml [intec-ltd.co.jp]
Re:傭兵に依存するのか (スコア:1)
>派遣会社に声を掛ければいくらでも集められると思っています。
まさに現代の傭兵会社
Re:傭兵に依存するのか (スコア:1)
あれも一種の(人間の)運用設計の上で実施されているんでしょうねえ。
Re:傭兵に依存するのか (スコア:1)
# 何処にぶら下げるか迷いましたが。。。
元記事の言わんとする事は、
傭兵の数も足りず、待遇の良い印度や中国に取られてしまう。もっと傭兵候補者を!
つまり、教育機関(コース)新設の予算獲得ですね。
想像力の欠如 (スコア:1)
あるいは本当に真面目に現実的な課題を追っている人が少ないのか。
Re:想像力の欠如 (スコア:1)
当時の水準で言えば高度に圧縮した動画を、リアルタイムで展開・再生できるのは
その性能のおかげですね。さらに性能が要求されるエンコードが楽になったのも、
それを後押ししてますね。
画像や音声の認識処理が力技で実用化されて使われているとかね、Siriみたいな
の相手に「書類をどこかに置き忘れたよ」ってつぶやけば、あなたの立ち回った先の
Webカメラ映像を全部調べて、映っている場所を教えてくれる、とかね。
今のスパコンを使って実現可能かどうかも判らないけれど、今のスパコンはこんな
つまらない用途には使えないから、そういう性能のアピールのしかたをしないし、
使う方も慣れてしまえば、コンピュータならそのくらい出来て当たり前感じるように
なるから、性能のありがたみを感じないだろうけど。
ミドルエンドのスパコン技術者? (スコア:0)
「ミドルエンド」 ていう単語は意味不明だが、元記事にはそんな言葉ないね。
"中間所得層"のことを言っているのかな?
「小・中規模のスパコンを扱える技術者」です (スコア:5, 参考になる)
ストーリーのリンク先の、ニューズウィーク日本語記事の翻訳が混乱しています。
小見出しで「中間所得層の崩壊」、本文で「中間層の空洞化」としている。
記事が言わんとすることに近いのは後者ですが、小見出しも読んでしまった人は、元コメントのように、その印象にひきずられるでしょう。
英語の元記事で middle (ミドル) が出てくるのは次の一か所で、これが記事で指している「ミドル」の説明です。
The U.S. Is Busy Building Supercomputers, but Needs Someone to Run Them [thedailybeast.com]
Scientists refer to the talent shortage as the “missing middle,” meaning there are enough specialists to run the handful of world-beating supercomputers that cost a few hundred million dollars, and plenty of people who can manage ordinary personal computers and server computer—but there are not nearly enough people who know how to use the small and mid-sized high-performance machines that cost anywhere from $1 million to $10 million.
日本語記事の訳
専門家によれば、人材不足の特徴は「中間層の空洞化」だ。数億ドルで開発された世界屈指のスパコン数台を動かす専門家は足りている。普通のパソコンやサーバーを管理できる人材も豊富だ。しかし、100万〜1000万ドルの小・中規模の高性能なマシンを使いこなせる頭脳が足りないのだ。
Re: (スコア:0)
ミドルなのにエンドとは。
Re: (スコア:0)
日本のミドル層がエンドしてるという意味かな
スパコン用コードデベロッパ (スコア:0)
研究者とかエンジニアとかは解析の結果さえ出りゃいいやって人が多いし
ガチで京とか使おうって人は少ないし増やされないし
まあでもいまは京関連の研究者の募集は増えてるけどね
これで少しは伸びるのかなこの分野が
しかし国がそれ関連の研究者を優遇しないんだから伸びないのは当然
頭の悪い、もしくは組織づくりの下手な役人とか上の人間が悪い
解析結果の必要性とかをしっかり説明できないエンジニアと研究者もいかんがね
Re:スパコン用コードデベロッパ (スコア:1)
国や役人がアホなのは万国共通だという可能性もあるけど。
この場合は、
・性能命な分野である。
・性能を引き出すためにはノウハウの比重が大きい。
・アーキテクチャごとにノウハウが変わる。
・アーキテクチャの寿命が比較的短い。
あたりが問題じゃないかと思います。
Re:我が社に足りないモノ、それは人財 (スコア:2)
スパコンでも何でも、最後はそれを使う人間の知恵と勇気!
# それと根性!!
そして、アセンブリで、ややこしい並列処理を書く能力!!
Re:我が社に足りないモノ、それは人財 (スコア:2)
現場に当たっては臨機応変!
スルースキル:Lv2
Keep It Simple, Stupid!