パスワードを忘れた? アカウント作成
176070 story
インターネット

ftp.jaist.ac.jpのロードアベレージが1000を超える 53

ストーリー by hylom
JAISTおよび管理者に感謝、 部門より
あるAnonymous Coward 曰く、

JAIST(北陸先端科学技術大学院大学)の公開FTPサーバー(ftp.jaist.ac.jp)管理者のブログ「 ftp-adminの憂鬱」の記事によると、12月17日の未明にftp.jaist.ac.jpのロードアベレージが1000を超えたそうだ。

12月16日の朝にFirefox 3.5.6がリリースされ、その影響で翌午前1時くらいにアメリカからのアクセスが増え始めたのが発端のようだ。CPU負荷の上昇の原因には、スレッド間でのロックの競合があったようだ。

ともあれ、何故か知らないがMozillaの欧米トラフィックを支えているjaist adminには敬意を表したい。

JAISTの公開FTPサーバーではLinuxディストリビューションやフリー/オープンソースソフトウェアが多数公開されており、お世話になっているユーザーも多いだろう。「Ubuntu 9.10のリリース直後に遅かったわけ」や「Firefoxが10億回ダウンロードされたのは本当か」などのブログ記事も興味深い。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • FTPサーバー? (スコア:5, 参考になる)

    by elderwand (34630) on 2009年12月18日 21時50分 (#1691187) 日記

    ホスト名も ftp だし、記事にも FTP サーバーって書いてあるけど、ブログの記事には worker MPM とか 2.0 系とか 2.2系とか Apache HTTP Server の話だよね。

    Apache FTP Protocol Support [apache.org]モジュールとか使ってるのかな?

    で、 ftp ftp.jaist.ac.jp に anonymous でお邪魔させていただきましたが、どうやら、lukemftpd を使っているらしい。

    なので、アクセスいっぱい来たのは FTP ではなく HTTP のようです。

  • 僕はもうJAISTの人間ではないので、これから書くことはあくまでも個人的な見解です。予めご了承ください。

    ftp.jaist.ac.jpを運営している一番大きな理由は宣伝です。sourceforge.netでソフトウェアをダウンロードしたのがきっかけでJAISTを知った留学生とかいたりして、なかなか効果的です。新しい機材やソフトウェアの実験に使うこともあります。得られた知見はJAISTのインフラ整備に生かされてきました。アクセスログを研究に使うこともあります。人工的でない高トラフィックのデータは意外と重宝されます。

    使っている回線は研究・教育のためのもので、ftp.jaist.ac.jpはその空き時間を使っています。SINETの線はNIIですが、WIDEの大手町までの10Gbpsの線はJAISTが払っていたと思います。NIIやWIDEがトランジットにいくら払っているかは知りません。サーバはブログに書いたようにSunからの寄贈です。人件費は使ってません。開学時からftp.jaist.ac.jpの運営はボランティアです。僕は面白いので手を貸しているだけです。

    トップページ [jaist.ac.jp]を見てもらえばわかりますが、プロトコルはほとんどHTTPです。Mozilla.orgはHTTPのみです。確かにFTPサーバは変ですね。実態にそぐわないのでftpから名前を変える話がなかったわけではないのですが、 あちこちに変更の連絡をするのがめんどくさかったのでそのままになっています。ちなみに使っているFTPサーバはvsftpdです。とりあえず、タイトルはPublic Mirror Serviceに変えてみました。

    嫌気がさしているのはFirefoxではなく、自国にほとんど振らないロードバランサです。Mozilla.orgのロードバランサは基本的にウェイトに応じてふります。ウェイトの10.3%が日本です。JAISTは4.6%、NIIはサーバ二つで3.7%です。あれからよく考えてみたのですが、アメリカのFirefoxのアップデートは自国でまかないきれていなくて、時差でピークがずれている日本とヨーロッパで支える必要があるのかなと。でも、日本は全部日本のサーバにつないでほしいですよね。

    Googlebotですか。robots.txtで蹴っているので…あれ?いつの間にか消えてました。12月17日で2GBほど持っていってますね。この日は17TBほどダウンロードされてますから誤差の範囲ですね。

  • by Anonymous Coward on 2009年12月18日 18時07分 (#1691101)
    俺的にはOSS方面のDLサイトとしてはRingの方が定番って感じなんだけど、近年続々と参加者が撤退して衰退傾向な気がするんだけど、どうでしょ?

    トップの告知だと今年は三つ撤退してるようだし。

    だからJAISTの負荷が増えてるとかかは知りません。

    • by Anonymous Coward
      オレ的には理研とKDDI研かな。
      • by Anonymous Coward

        6年前くらいの話だけど,某大学の回線からだとmaffinがやたらめったら早かったなあ
        100BASEの限界に迫る勢いでDLできたのでかなり重宝してた

    • by Anonymous Coward

      ringにアクセスしても期待する結果が得られない事が多いんだもの

    • by Anonymous Coward
      終焉を迎えてるも同然なんじゃないですかね。

      今の職場はISPでかつてRingを置いていましたが、管理者は本業の片手間でした。
      管理者多忙で放置状態が続き、後を継ぐ者もなく結局撤退と相成りました。

      そしてホスティング等インフラが整いRingを使うメリットが減っていく一方、
      似たような環境の商用ネットワークが次々と撤退していくのを見て、
      やっぱり直接利益の出ないサーバの維持は難しいのだと思いました。
      • by Anonymous Coward

        Ringの一翼を担ったデータホテル貸与は堀江もんの隠れた功績の一つだと思う。

    • by Anonymous Coward
      toreent とかにどんどん流せばいいんじゃない?
      • by funnyfan (27822) on 2009年12月19日 11時22分 (#1691310)

        torrentを使えない環境がありましてね。
        職場のみならず、最近ではISP単位でも制限が増しているので、http/ftpでアクセスできる
        こういうミラーサーバの意義は少なくないです。

        「RingのサーバとかNewsサーバがあるから」って理由で前に入ってたISPで、torrent制限しつつ
        そういうサーバ廃止したり、なかなか世知辛い世の中になってきました。

        親コメント
        • Re:Ringは衰退気味? (スコア:3, すばらしい洞察)

          by stat (28781) <{28781} {at} {a2the.net}> on 2009年12月19日 12時56分 (#1691345) 日記
          私もインターネットプロバイダを選ぶとき、前は Ring サーバーを置いてる事っていうのを指針にしてたんだけど、もうそんなプロバイダ2つしか残ってないですねえ。
          プロバイダを選ぶときは単に値段で比較するのではなくネットへの貢献度も考慮しましょう、っていうムードがもっと高いといろいろ幸せになれると思うんだけど。
          親コメント
        • by Anonymous Coward on 2009年12月19日 14時20分 (#1691366)

          news の a.b.p.e が見えるからという理由で選んだ某ADSLプロバイダは、値下げ競争にも後塵を拝して高止まりの上、ライバルに吸収されてしまいましたよ。
          引越しを機に別の光プロバイダに乗り換えました。

          親コメント
  • by jsi (25633) on 2009年12月19日 1時20分 (#1691236)

    lock free/wait freeの特許ってIBMが持ってたんだっけ?
    RCUとかlock freeとかいい加減特許権を放棄してほしいですね。

  • ブログを読むと管理人はFirefoxに嫌気をさしていそうですね.
    ほんとにFirefoxがJAISTからダウンロードできなくなるとすると
    どのくらい影響があるのかな?

    • by adew_w (18109) on 2009年12月18日 20時11分 (#1691146)

      Firefoxというより、クライアントから遠いミラーばかり選び出すMozilla.org
      のロードバランサに嫌気が~といった感じじゃないでしょうかねぇ。
      どれぐらい日本のミラーが登録されているのか知らないのですが、Firefoxを
      ダウンロードする時大抵海外のミラーからダウンロードしようとするんですけど……

      親コメント
      • by Anonymous Coward

        確かに印象として北陸先端大や国立情報学研究所に振り向けられるのは希で
        フランスだのドイツだのに振り向けられることが多いような気がする。
        逆にリリース直後でサーバが混んでいるだろう時に限って上の二つに割り振られるような…

        ロードバランサーでパラメータ1個間違えて大小を逆にしてるんじゃねえの?

    • その理解はおかしい。

      > しかし、いい加減欧米のFirefoxのアップデートを日本から支えるのも嫌になってきましたね。
      はるばる欧米から日本のサーバまでFirefox落としに来んじゃねー!と言ってるだけ。
      # mozilla.orgがミラーサイトへの割り振りにしくじってるってことなのか?

      親コメント
  • by leftwing (37789) on 2009年12月19日 1時23分 (#1691237) 日記

    私の環境だと、こやつがお勧めするミラーサイトがjaistであることが多くて、いつもここからダウンロードしています。ミラー選択をするときにjaistが選ばれやすいのでしょうかね?

    • by Anonymous Coward

      sourceforge からダウンロードするときも大抵こっちになりますよね。
      つーことで、今日もjaistに感謝_o_

  • ISPにIIJ4u使ってるのでiij→jaist→海外→rikenですね。
    (rikenは大昔にDLしたらファイルが壊れてたってのがあったので)

  • by Anonymous Coward on 2009年12月18日 21時13分 (#1691174)

    SunOS3.5でのロードアベレージ50超えを見て以来、10超えすらほとんどみていなかったのですが一気に1000ですか。
    8CPU/32Threadのハードウェアでのサポートがあったとしても、シングルイメージのOSが落ちずにしっかり1000スレッドを捌いていたのはすごいことと思いました。

  • by Anonymous Coward on 2009年12月18日 21時26分 (#1691179)

    Googlebotが喰ってるのか、それが知りたいっす。
    ほとんど誰も来ない、数年更新の無い自宅のftpサーバでさえ、ほとんど毎日Googlebotが何か持って行ってるので。

  • そもそも (スコア:0, 参考になる)

    by Anonymous Coward on 2009年12月19日 0時33分 (#1691222)
    なぜJAISTはこれだけの規模のFTPサイトを運用しづづけているんでしょう?
    数Gbpsのトランジット回線を民間ISPから購入するととんでもない金額になりますし、サーバ代や運用のための人件費(朝5時まで対応していたとのことですが)はどこから出ているんでしょうね。

    大規模FTP/Webサイトを運用すること自体が学問になった時代なら大いに意味があったと思いますが、もはや論文一本・特許一件のネタにもなりません。

    ……それとも、最近はフリーソフトを配布するためのインフラに国からお金が出るんでしょうか? フリーソフトを配布するインフラを運営することで社会の役に立っているという面は否定しませんが、それにしても国立大学がやる事業ではないと思います。
    • Re:そもそも (スコア:4, 参考になる)

      by adew_w (18109) on 2009年12月19日 1時12分 (#1691234)

      参考になるモデレートはどうかと思いますが……

      回線の方はSINETなので、0では無いですが、直接ISPから購入するよりも
      コストはかからないのではないかと。
      サーバ自体はBlogによるとSunからの寄贈のもののようです。ストレージ
      の方は昔は寄贈のもので今は作ってもらったものでしょうか。
      どこからお金が出ているのかは中の人じゃないので知りませんけど。

      > ……それとも、最近はフリーソフトを配布するためのインフラに国からお金が出るんでしょうか? フリーソフトを配布するインフラを運営することで社会の役に立っているという面は否定しませんが、それにしても国立大学がやる事業ではないと思います。

      かといって、儲けどころがなさそうなことにコストをかけてやってくれる
      企業があるのか非常に疑問ですけどね。Ringプロジェクトなどで頑張
      ってる所もありますけど、最近は低調気味なように見えます。
      儲けることが最優先ではない(と思われる)学術機関だからこそできる
      事じゃないのかなぁと。

      親コメント
    • Re:そもそも (スコア:4, 興味深い)

      by new release (37404) on 2009年12月19日 18時01分 (#1691445) 日記
      ftp.jaist.ac.jpなくなったら....スパコン仕分けどころの痛手じゃないですね、個人的には。
      一応研究者の端くれですが、FTPサイト運営が論文、特許と関連付けて考えられる方ならば
      このサイトやボランティア運営のものに対する意義や重要性は十分知れ渡っているものと
      思っていましたが、残念です。
      国立大学に太いネットでつながっているサーバでミラーされているデータも国内有数であり
      稼動信頼性も高い純粋に使えるサーバというだけでなく、他のコメントにもありましたが生の
      トラフィックデータや、今回のような他では経験できないようなイベントとその対応の顛末など、
      技術者には垂涎もののお話がたくさんあります。
      このFTPサイトのボランティア運営が無駄だという主張や、ボランティアに携わる研究者に
      そのために税金から給料出している訳ではないという主張が通じるほど効率化された民間企業
      というのは、十数社程度の私が内情をある程度知っている企業の中には皆無ですね。
      親コメント
    • Re:そもそも (スコア:3, すばらしい洞察)

      by esen (25147) on 2009年12月19日 1時01分 (#1691229)
      妄想ですが,一種の宣伝…という解釈はどうでしょうか?
      1. linux やフリーソフトに興味のある高校生 / 大学生が jaist からダウンロード
      2. 「ac.jp ってなってるけど,jaist ってなんだろう?」と疑問を持つ
      3. 「こんな大学院大学があるんだ~」と興味を持つ
      4. 大学卒業後「よし jaist に進学しよう」

      みたいな.

      親コメント
      • by Anonymous Coward
        下の方で某氏がお書きのようですが、宣伝目的もかなりの割合で占めているようですね。
        かく言う自分も北陸先端科学技術大学院大学は本アドレス名から知った口です。
        jaistってどこだ? acだから学術機関だろ、みたいに。

        すでに大学から卒業してン十年、自分が学生の時に本大学院が有ったら、
        自分の人生変わっていただろうか? w
    • by jsi (25633) on 2009年12月19日 1時24分 (#1691238)

      藤枝氏 [jaist.ac.jp]はJAISTを2008年付けで退職しているので、今はボランティアで管理しているということなのでしょうね。
      私的な時間をftpサーバの管理に捧げられている献身的な姿には、ほんと頭がさがりますね。
      学内でもアレを管理できそうな人はほとんどいないでしょうね。

      親コメント
    • Re:そもそも (スコア:1, すばらしい洞察)

      by Anonymous Coward on 2009年12月19日 1時06分 (#1691232)

      また「仕分け病」か。

      親コメント
    • Re:そもそも (スコア:1, すばらしい洞察)

      by Anonymous Coward on 2009年12月19日 4時01分 (#1691267)
      え?国立大学だからこそ、利益関係なくやれるんじゃないの?
      「誰かがやらなきゃだし社会の役には立つけれど、民間は利益にならないからやらない」ことを国がやらなかったら誰がやるの?
      それとも、フリーソフトを配信するなんて民業圧迫だ、とでもいうのですか?
      国ってのは民間でやると利益がでないから誰もやりたがらないけれど、生活には必要なものをやってくれるためにあるもので、そういう意味からすると正に国立大学だからこそやらなきゃいけないものなんじゃないの?
      親コメント
      • by Anonymous Coward

        「誰かがやらなきゃだし社会の役には立つけれど、民間は利益にならないからやらない」ことを国がやらなかったら誰がやるの?
        それとも、フリーソフトを配信するなんて民業圧迫だ、とでもいうのですか?
        国ってのは民間でやると利益がでないから誰もやりたがらないけれど、生活には必要なものをやってくれるためにあるもので、そういう意味からすると正に国立大学だからこそやらなきゃいけないものなんじゃないの?

        # 無いよりあったほうが便利だけど
        別に、誰かがやらなきゃって訳じゃないし。公共サービスで行う必要もないし。生活に必要なものでもないし。

      • by Anonymous Coward

        中学生じゃあるまいし、バカなこと言わないでいただきたい。
        フリーソフトの開発者が、自発的に自分の時間を提供するのとは次元が違う話なんだよ。
        なんでオプソ厨やフリー信者は、自由を大義名分にしたら、フリーソフトを配るために設立された団体でもない国立大学が、納税者に断りもなく、”どっかの他所の人が作った一部のソフト”を配布するために、ズルズルと税金使っていい、という考えに至るのかね。
        国立機関は、利益追求団体ではないが、それは”機関の目的が利潤を求めない”というだけであって、別に、”経費を無駄に使っていい”ということじゃない。

        • by tomone (15592) on 2009年12月19日 23時32分 (#1691535) ホームページ

          > フリーソフトを配るために設立された団体でもない国立大学が

          ならフリーソフトを配る専門の国立団体作って税金で運用すれば良いんだ。

          > 道路に税金使うなら、ネットの回線にも税金使って整備して当然だし

          田舎はそれくらいしても良いと思うけどね。
          逆にネット回線では全て使用料取ってるんだから、
          高速道路だけでなく一般道でも使用料取れっていうのと同じだよね。

          --
          TomOne
          親コメント
        • by Anonymous Coward

          あんたの理屈は、”オラの村にも必要なんだから、税金で○○を作ってちょっとくらい赤字経営してもいいじゃないか”って言うのと何も変わらん。

          横道に反れるが、それの何が悪いんだ?
          限度はあるけど、国が人口密度の低い田舎にも便宜を図るため赤字経営するというのは間違っていない気がするが

          黒字が確保しやすい人口密度の高い都会の公共サービスは充実し、田舎は儲からないから住民は都会に移住してください。というお考えでしょうか?

        • by Anonymous Coward
          税金っていうのは、「オラの村には必要だが、赤字になるから誰もやらない」ってものをやるために
          みんなから集めるものなんだよ。

          > あんたの理屈なら、これだって、道路に税金使うなら、ネットの回線にも税金使って整備して当然だし、そもそも回線の使用料自体を税金で補填してタダで使わせろって所に行き着くぜ?

          これ、まさにその通りだよね。誰も通らない道路作るくらいなら、辺境の地にネット網を充実させて、アクセス料金下げるために税金は使われるべきだよ。
        • by Anonymous Coward

          フリーソフトを配るために設立された団体

          わざわざそんな団体を作ってまた天下りの受け皿になって、事業仕分けで廃止されるわけですね。

    • by tomone (15592) on 2009年12月19日 12時29分 (#1691335) ホームページ

      > サーバ代や運用のための人件費

      大学教員って、年俸制で、どれだけ働こうが定額な気が。

      > 国立大学がやる事業ではない

      ではどこがやるべきだとお考えですか?

      --
      TomOne
      親コメント
    • by argon (3541) on 2009年12月19日 14時30分 (#1691369) 日記

      なるほどと考えてフリーソフトウエアを配布するために通信実費と管理実費相当をいただくサイトを開設したら今度は、
      無料のもので商売するDQNとか非難轟々なんでしょうね。

      親コメント
    • by saitoh (10803) on 2009年12月20日 13時50分 (#1691647)
      「これだけの規模」っつっても、UltraSparcT1のマシン×1なのでは?数10万~100数10万円くらい。 ロードアベレージ1000でも「こけなかった」だけで「楽々さばいた」ってわけでもなし。
      手元にミラーしておいて欲しいと思いついたときにすぐアクセスするため とか、 内部の学生があちこちからばらばらに同じファイルを取得する無駄を省くため 名目でこのくらいのサーバは十分買えるでしょう。外にftpサービスするためにわざわざ予算措置して買ったとは思えない(というか、さすがにそういう名目では予算は下りないでしょう)。

      回線もWIDEだろうから、余分に税金ftpサービスのための回線費を出したわけでもないんじゃないかな。

      「実験・実証を行ないながら運用」をお題目に掲げるWIDEプロジェクトとして、客がたくさんついたftpサーバは運用データ集めの材料なのかも(根拠なし)。

      親コメント
    • by Anonymous Coward
      知らんけど、ボランティアなのでは? (=5時まで対応しても人件費はかかっていない。)

      そもそも、「大規模FTP/Webサイトを運用すること自体」は昔だって学問にはなってないようような気が。

    • by Anonymous Coward
      一通信事業者としての立場ですと……
      ミラーサーバ事業そのものの意義は否定しませんが、コストをかけるならちゃんと研究にコストをかけてほしいですね。

      ミラーサーバ事業で最もコストが掛かっているのは、おそらく回線代です。2Gbpsのトランジットの市場価格は、安くて 600万円/月、ISP事業者向けの高品質回線なら1000万円/月を超えるはずです。(これは、利用者が民間企業だろうが国だろうが変わりません)
      他の研究のリソースの余りでやってる、と言える範囲ならいいと思いますが、明らかにそれを大幅に超えていると思います。

      この数百万円/月というコ
      • by Anonymous Coward
        元中の人のコメントにもあるように SINET や WIDE 経由だから ftp.jaist.ac.jp 用の回線の値段を割り出すのは単純ではないでしょうね。
        でも、ftp.jaist.ac.jp を単純なサーバでしかないと言って無用だとしたら、RING が弱くなっている現在、
        まともに使える FTP は kddlabs ぐらいしか残らないなあ。

        あっ、そうか、あなたはそこなのですね。FTP 独占を狙っているのですね。(って独占してどうするというツッコミは無しで。)
      • by Anonymous Coward

        なぜJAISTがトランジットを購入せにゃならんの?

        >>これは、利用者が民間企業だろうが国だろうが変わりません

        あなたのところは変わらないのかもしれませんが、世間一般では相手によって変わります(変えます)
        そもそも常時2Gbpsな契約の必要はないわけで……あんた、ほんとに中の人か?

    • by Anonymous Coward

      諸々のコメントを見ていると、内部的なメリットがあるのはもちろん、
      (結果的にだけど)外部での諸研究・諸事業のための環境構築を
      比較的容易にする、という形でトータルコストの低減に役立っている
      ように見える。

  • by Anonymous Coward on 2009年12月20日 14時14分 (#1691660)

    ・・・って思うところもあるんですが、どうすればいいんだろう?

    • by Anonymous Coward
      なかなか懐かしいFAQ だね。
      90年代の文書って意外に見つけにくいのね。
      以下、ググって見つけた2chのコピペ:

      FTPならば、「tinyFTPdaemon」とか「WarFTPDaemon」とか
      Webならば「AN httpd」とか「Apache」とか
      ルーターには静的NATを設定するとか(DHCPされてる場合)
      それぞれのプロトコルに対応したポートの開放とか
      以上の単語を「Google」等で検索かけてみましょう。
      • by Anonymous Coward

        あと、入れるユーザとそれで出来ることにも注意。
        公開ftpサーバ立ててると、"Administrator" とか "root" とか名乗ってログインしようとする奴が絶えないので。

typodupeerror

目玉の数さえ十分あれば、どんなバグも深刻ではない -- Eric Raymond

読み込み中...