ftp.jaist.ac.jpのロードアベレージが1000を超える 53
ストーリー by hylom
JAISTおよび管理者に感謝、 部門より
JAISTおよび管理者に感謝、 部門より
あるAnonymous Coward 曰く、
JAIST（北陸先端科学技術大学院大学）の公開FTPサーバー（ftp.jaist.ac.jp）管理者のブログ「 ftp-adminの憂鬱」の記事によると、12月17日の未明にftp.jaist.ac.jpのロードアベレージが1000を超えたそうだ。
12月16日の朝にFirefox 3.5.6がリリースされ、その影響で翌午前1時くらいにアメリカからのアクセスが増え始めたのが発端のようだ。CPU負荷の上昇の原因には、スレッド間でのロックの競合があったようだ。
ともあれ、何故か知らないがMozillaの欧米トラフィックを支えているjaist adminには敬意を表したい。
JAISTの公開FTPサーバーではLinuxディストリビューションやフリー/オープンソースソフトウェアが多数公開されており、お世話になっているユーザーも多いだろう。「Ubuntu 9.10のリリース直後に遅かったわけ」や「Firefoxが10億回ダウンロードされたのは本当か」などのブログ記事も興味深い。
FTPサーバー？ (スコア:5, 参考になる)
ホスト名も ftp だし、記事にも FTP サーバーって書いてあるけど、ブログの記事には worker MPM とか 2.0 系とか 2.2系とか Apache HTTP Server の話だよね。
Apache FTP Protocol Support [apache.org]モジュールとか使ってるのかな？
で、 ftp ftp.jaist.ac.jp に anonymous でお邪魔させていただきましたが、どうやら、lukemftpd を使っているらしい。
なので、アクセスいっぱい来たのは FTP ではなく HTTP のようです。
いろんな話があって面白いですね (スコア:5, 参考になる)
僕はもうJAISTの人間ではないので、これから書くことはあくまでも個人的な見解です。予めご了承ください。
ftp.jaist.ac.jpを運営している一番大きな理由は宣伝です。sourceforge.netでソフトウェアをダウンロードしたのがきっかけでJAISTを知った留学生とかいたりして、なかなか効果的です。新しい機材やソフトウェアの実験に使うこともあります。得られた知見はJAISTのインフラ整備に生かされてきました。アクセスログを研究に使うこともあります。人工的でない高トラフィックのデータは意外と重宝されます。
使っている回線は研究・教育のためのもので、ftp.jaist.ac.jpはその空き時間を使っています。SINETの線はNIIですが、WIDEの大手町までの10Gbpsの線はJAISTが払っていたと思います。NIIやWIDEがトランジットにいくら払っているかは知りません。サーバはブログに書いたようにSunからの寄贈です。人件費は使ってません。開学時からftp.jaist.ac.jpの運営はボランティアです。僕は面白いので手を貸しているだけです。
トップページ [jaist.ac.jp]を見てもらえばわかりますが、プロトコルはほとんどHTTPです。Mozilla.orgはHTTPのみです。確かにFTPサーバは変ですね。実態にそぐわないのでftpから名前を変える話がなかったわけではないのですが、 あちこちに変更の連絡をするのがめんどくさかったのでそのままになっています。ちなみに使っているFTPサーバはvsftpdです。とりあえず、タイトルはPublic Mirror Serviceに変えてみました。
嫌気がさしているのはFirefoxではなく、自国にほとんど振らないロードバランサです。Mozilla.orgのロードバランサは基本的にウェイトに応じてふります。ウェイトの10.3%が日本です。JAISTは4.6%、NIIはサーバ二つで3.7%です。あれからよく考えてみたのですが、アメリカのFirefoxのアップデートは自国でまかないきれていなくて、時差でピークがずれている日本とヨーロッパで支える必要があるのかなと。でも、日本は全部日本のサーバにつないでほしいですよね。
Googlebotですか。robots.txtで蹴っているので…あれ？いつの間にか消えてました。12月17日で2GBほど持っていってますね。この日は17TBほどダウンロードされてますから誤差の範囲ですね。
Re:いろんな話があって面白いですね (スコア:2)
> ちなみに使っているFTPサーバはvsftpdです。
すまった、あれはクライアントだったか。m(__)m
Ringは衰退気味？ (スコア:2, 興味深い)
トップの告知だと今年は三つ撤退してるようだし。
だからJAISTの負荷が増えてるとかかは知りません。
Re: (スコア:0)
Re: (スコア:0)
6年前くらいの話だけど，某大学の回線からだとmaffinがやたらめったら早かったなあ
100BASEの限界に迫る勢いでDLできたのでかなり重宝してた
Re: (スコア:0)
ringにアクセスしても期待する結果が得られない事が多いんだもの
Re: (スコア:0)
今の職場はISPでかつてRingを置いていましたが、管理者は本業の片手間でした。
管理者多忙で放置状態が続き、後を継ぐ者もなく結局撤退と相成りました。
そしてホスティング等インフラが整いRingを使うメリットが減っていく一方、
似たような環境の商用ネットワークが次々と撤退していくのを見て、
やっぱり直接利益の出ないサーバの維持は難しいのだと思いました。
Re: (スコア:0)
Ringの一翼を担ったデータホテル貸与は堀江もんの隠れた功績の一つだと思う。
Re: (スコア:0)
Re:Ringは衰退気味？ (スコア:2)
torrentを使えない環境がありましてね。
職場のみならず、最近ではISP単位でも制限が増しているので、http/ftpでアクセスできる
こういうミラーサーバの意義は少なくないです。
「RingのサーバとかNewsサーバがあるから」って理由で前に入ってたISPで、torrent制限しつつ
そういうサーバ廃止したり、なかなか世知辛い世の中になってきました。
Re:Ringは衰退気味？ (スコア:3, すばらしい洞察)
プロバイダを選ぶときは単に値段で比較するのではなくネットへの貢献度も考慮しましょう、っていうムードがもっと高いといろいろ幸せになれると思うんだけど。
Re:Ringは衰退気味？ (スコア:1, 興味深い)
news の a.b.p.e が見えるからという理由で選んだ某ADSLプロバイダは、値下げ競争にも後塵を拝して高止まりの上、ライバルに吸収されてしまいましたよ。
引越しを機に別の光プロバイダに乗り換えました。
lock free の特許 (スコア:2)
lock free/wait freeの特許ってIBMが持ってたんだっけ?
RCUとかlock freeとかいい加減特許権を放棄してほしいですね。
Firefoxが嫌われてる (スコア:1)
ブログを読むと管理人はFirefoxに嫌気をさしていそうですね．
ほんとにFirefoxがJAISTからダウンロードできなくなるとすると
どのくらい影響があるのかな？
Re:Firefoxが嫌われてる (スコア:2, 興味深い)
Firefoxというより、クライアントから遠いミラーばかり選び出すMozilla.org
のロードバランサに嫌気が～といった感じじゃないでしょうかねぇ。
どれぐらい日本のミラーが登録されているのか知らないのですが、Firefoxを
ダウンロードする時大抵海外のミラーからダウンロードしようとするんですけど……
Re: (スコア:0)
確かに印象として北陸先端大や国立情報学研究所に振り向けられるのは希で
フランスだのドイツだのに振り向けられることが多いような気がする。
逆にリリース直後でサーバが混んでいるだろう時に限って上の二つに割り振られるような…
ロードバランサーでパラメータ1個間違えて大小を逆にしてるんじゃねえの？
Re:Firefoxが嫌われてる (スコア:1)
その理解はおかしい。
> しかし、いい加減欧米のFirefoxのアップデートを日本から支えるのも嫌になってきましたね。
はるばる欧米から日本のサーバまでFirefox落としに来んじゃねー！と言ってるだけ。
# mozilla.orgがミラーサイトへの割り振りにしくじってるってことなのか？
Re:Firefoxが嫌われてる (スコア:3, 興味深い)
身内のような他人ですが、「ftp-adminの憂鬱: Firefoxが10億回ダウンロードされたのは本当か [blogspot.com]」に若干経緯が書いてあります。
yum-plugin-fastestmirror (スコア:1)
私の環境だと、こやつがお勧めするミラーサイトがjaistであることが多くて、いつもここからダウンロードしています。ミラー選択をするときにjaistが選ばれやすいのでしょうかね？
Re: (スコア:0)
sourceforge からダウンロードするときも大抵こっちになりますよね。
つーことで、今日もjaistに感謝_o_
とりあえず利用頻度が高いのは… (スコア:1)
ISPにIIJ4u使ってるのでiij→jaist→海外→rikenですね。
(rikenは大昔にDLしたらファイルが壊れてたってのがあったので)
（素直に）すごい (スコア:0)
SunOS3.5でのロードアベレージ50超えを見て以来、10超えすらほとんどみていなかったのですが一気に1000ですか。
8CPU/32Threadのハードウェアでのサポートがあったとしても、シングルイメージのOSが落ちずにしっかり1000スレッドを捌いていたのはすごいことと思いました。
トラフィックのどのくらいを (スコア:0)
Googlebotが喰ってるのか、それが知りたいっす。
ほとんど誰も来ない、数年更新の無い自宅のftpサーバでさえ、ほとんど毎日Googlebotが何か持って行ってるので。
そもそも (スコア:0, 参考になる)
数Gbpsのトランジット回線を民間ISPから購入するととんでもない金額になりますし、サーバ代や運用のための人件費(朝5時まで対応していたとのことですが)はどこから出ているんでしょうね。
大規模FTP/Webサイトを運用すること自体が学問になった時代なら大いに意味があったと思いますが、もはや論文一本・特許一件のネタにもなりません。
……それとも、最近はフリーソフトを配布するためのインフラに国からお金が出るんでしょうか？ フリーソフトを配布するインフラを運営することで社会の役に立っているという面は否定しませんが、それにしても国立大学がやる事業ではないと思います。
Re:そもそも (スコア:4, 参考になる)
参考になるモデレートはどうかと思いますが……
回線の方はSINETなので、0では無いですが、直接ISPから購入するよりも
コストはかからないのではないかと。
サーバ自体はBlogによるとSunからの寄贈のもののようです。ストレージ
の方は昔は寄贈のもので今は作ってもらったものでしょうか。
どこからお金が出ているのかは中の人じゃないので知りませんけど。
> ……それとも、最近はフリーソフトを配布するためのインフラに国からお金が出るんでしょうか？ フリーソフトを配布するインフラを運営することで社会の役に立っているという面は否定しませんが、それにしても国立大学がやる事業ではないと思います。
かといって、儲けどころがなさそうなことにコストをかけてやってくれる
企業があるのか非常に疑問ですけどね。Ringプロジェクトなどで頑張
ってる所もありますけど、最近は低調気味なように見えます。
儲けることが最優先ではない（と思われる）学術機関だからこそできる
事じゃないのかなぁと。
Re:そもそも (スコア:4, 興味深い)
一応研究者の端くれですが、FTPサイト運営が論文、特許と関連付けて考えられる方ならば
このサイトやボランティア運営のものに対する意義や重要性は十分知れ渡っているものと
思っていましたが、残念です。
国立大学に太いネットでつながっているサーバでミラーされているデータも国内有数であり
稼動信頼性も高い純粋に使えるサーバというだけでなく、他のコメントにもありましたが生の
トラフィックデータや、今回のような他では経験できないようなイベントとその対応の顛末など、
技術者には垂涎もののお話がたくさんあります。
このFTPサイトのボランティア運営が無駄だという主張や、ボランティアに携わる研究者に
そのために税金から給料出している訳ではないという主張が通じるほど効率化された民間企業
というのは、十数社程度の私が内情をある程度知っている企業の中には皆無ですね。
Re:そもそも (スコア:3, すばらしい洞察)
みたいな．
Re: (スコア:0)
かく言う自分も北陸先端科学技術大学院大学は本アドレス名から知った口です。
jaistってどこだ？ acだから学術機関だろ、みたいに。
すでに大学から卒業してン十年、自分が学生の時に本大学院が有ったら、
自分の人生変わっていただろうか？ ｗ
Re:そもそも (スコア:2)
藤枝氏 [jaist.ac.jp]はJAISTを2008年付けで退職しているので、今はボランティアで管理しているということなのでしょうね。
私的な時間をftpサーバの管理に捧げられている献身的な姿には、ほんと頭がさがりますね。
学内でもアレを管理できそうな人はほとんどいないでしょうね。
Re:そもそも (スコア:1, すばらしい洞察)
また「仕分け病」か。
仕分け脳の恐怖 (スコア:0)
Re:そもそも (スコア:1, すばらしい洞察)
「誰かがやらなきゃだし社会の役には立つけれど、民間は利益にならないからやらない」ことを国がやらなかったら誰がやるの？
それとも、フリーソフトを配信するなんて民業圧迫だ、とでもいうのですか？
国ってのは民間でやると利益がでないから誰もやりたがらないけれど、生活には必要なものをやってくれるためにあるもので、そういう意味からすると正に国立大学だからこそやらなきゃいけないものなんじゃないの？
Re: (スコア:0)
# 無いよりあったほうが便利だけど
別に、誰かがやらなきゃって訳じゃないし。公共サービスで行う必要もないし。生活に必要なものでもないし。
Re: (スコア:0)
中学生じゃあるまいし、バカなこと言わないでいただきたい。
フリーソフトの開発者が、自発的に自分の時間を提供するのとは次元が違う話なんだよ。
なんでオプソ厨やフリー信者は、自由を大義名分にしたら、フリーソフトを配るために設立された団体でもない国立大学が、納税者に断りもなく、”どっかの他所の人が作った一部のソフト”を配布するために、ズルズルと税金使っていい、という考えに至るのかね。
国立機関は、利益追求団体ではないが、それは”機関の目的が利潤を求めない”というだけであって、別に、”経費を無駄に使っていい”ということじゃない。
Re:そもそも (スコア:1)
> フリーソフトを配るために設立された団体でもない国立大学が
ならフリーソフトを配る専門の国立団体作って税金で運用すれば良いんだ。
> 道路に税金使うなら、ネットの回線にも税金使って整備して当然だし
田舎はそれくらいしても良いと思うけどね。
逆にネット回線では全て使用料取ってるんだから、
高速道路だけでなく一般道でも使用料取れっていうのと同じだよね。
TomOne
Re: (スコア:0)
横道に反れるが、それの何が悪いんだ？
限度はあるけど、国が人口密度の低い田舎にも便宜を図るため赤字経営するというのは間違っていない気がするが
黒字が確保しやすい人口密度の高い都会の公共サービスは充実し、田舎は儲からないから住民は都会に移住してください。というお考えでしょうか？
Re: (スコア:0)
みんなから集めるものなんだよ。
> あんたの理屈なら、これだって、道路に税金使うなら、ネットの回線にも税金使って整備して当然だし、そもそも回線の使用料自体を税金で補填してタダで使わせろって所に行き着くぜ？
これ、まさにその通りだよね。誰も通らない道路作るくらいなら、辺境の地にネット網を充実させて、アクセス料金下げるために税金は使われるべきだよ。
Re: (スコア:0)
わざわざそんな団体を作ってまた天下りの受け皿になって、事業仕分けで廃止されるわけですね。
Re:そもそも (スコア:1)
> サーバ代や運用のための人件費
大学教員って、年俸制で、どれだけ働こうが定額な気が。
> 国立大学がやる事業ではない
ではどこがやるべきだとお考えですか?
TomOne
Re:そもそも (スコア:1)
なるほどと考えてフリーソフトウエアを配布するために通信実費と管理実費相当をいただくサイトを開設したら今度は、
無料のもので商売するDQNとか非難轟々なんでしょうね。
Re:そもそも (スコア:1)
手元にミラーしておいて欲しいと思いついたときにすぐアクセスするため とか、 内部の学生があちこちからばらばらに同じファイルを取得する無駄を省くため 名目でこのくらいのサーバは十分買えるでしょう。外にftpサービスするためにわざわざ予算措置して買ったとは思えない(というか、さすがにそういう名目では予算は下りないでしょう)。
回線もWIDEだろうから、余分に税金ftpサービスのための回線費を出したわけでもないんじゃないかな。
「実験・実証を行ないながら運用」をお題目に掲げるWIDEプロジェクトとして、客がたくさんついたftpサーバは運用データ集めの材料なのかも(根拠なし)。
Re: (スコア:0)
そもそも、「大規模FTP/Webサイトを運用すること自体」は昔だって学問にはなってないようような気が。
Re: (スコア:0)
ミラーサーバ事業そのものの意義は否定しませんが、コストをかけるならちゃんと研究にコストをかけてほしいですね。
ミラーサーバ事業で最もコストが掛かっているのは、おそらく回線代です。2Gbpsのトランジットの市場価格は、安くて 600万円/月、ISP事業者向けの高品質回線なら1000万円/月を超えるはずです。(これは、利用者が民間企業だろうが国だろうが変わりません)
他の研究のリソースの余りでやってる、と言える範囲ならいいと思いますが、明らかにそれを大幅に超えていると思います。
この数百万円/月というコ
Re: (スコア:0)
でも、ftp.jaist.ac.jp を単純なサーバでしかないと言って無用だとしたら、RING が弱くなっている現在、
まともに使える FTP は kddlabs ぐらいしか残らないなあ。
あっ、そうか、あなたはそこなのですね。FTP 独占を狙っているのですね。（って独占してどうするというツッコミは無しで。）
Re: (スコア:0)
なぜJAISTがトランジットを購入せにゃならんの？
>>これは、利用者が民間企業だろうが国だろうが変わりません
あなたのところは変わらないのかもしれませんが、世間一般では相手によって変わります（変えます）
そもそも常時2Gbpsな契約の必要はないわけで……あんた、ほんとに中の人か？
Re: (スコア:0)
諸々のコメントを見ていると、内部的なメリットがあるのはもちろん、
(結果的にだけど)外部での諸研究・諸事業のための環境構築を
比較的容易にする、という形でトータルコストの低減に役立っている
ように見える。
公開ftpサーバってどうすればつくれるの (スコア:0)
・・・って思うところもあるんですが、どうすればいいんだろう？
Re: (スコア:0)
90年代の文書って意外に見つけにくいのね。
以下、ググって見つけた2chのコピペ:
FTPならば、「tinyFTPdaemon」とか「WarFTPDaemon」とか
Webならば「AN httpd」とか「Apache」とか
ルーターには静的NATを設定するとか(DHCPされてる場合)
それぞれのプロトコルに対応したポートの開放とか
以上の単語を「Google」等で検索かけてみましょう。
Re: (スコア:0)
あと、入れるユーザとそれで出来ることにも注意。
公開ftpサーバ立ててると、"Administrator" とか "root" とか名乗ってログインしようとする奴が絶えないので。