「Google、閲覧履歴を記録・検索するWeb Historyを開始」記事へのコメント

ローカルじゃ駄目なの？

[Anonymous Coward]

>Web 閲覧の History (履歴) を記録して後から検索可能にするサービス

それこそGoogleや第三者に見られるかも知れなくて怖いっていう点と、あと近年のHDDの巨大化(安価化)の恩恵を考えると、ローカルでやっちゃえばいいんじゃないの？と思うんですが。

私がよく思うのは、

●自分のパソコン(数台で共用してもいいが)で
●閲覧したWebサイトを
●URLおよび時刻ごとに
●全部記録しておいて(つまり同URLなら「バージョン管理」をすることになる)
●あとからURLと時刻を指定すれば
●それを読み出せる

っていうソフトです。

以前はWebキャッシュソフトのキャッシュ保持時間を無限大に設定して

●URLごとに全部記録

っていうのを使っていたんですが、これだと刻々更新されるサイトを閲覧すると過去の情報を上書き消去してしまうのであまり役立たないってのと、あと数年前だったのでHDDがたちどころに一杯になってしまった(^^;ってのがあって、やめてしまいました。

素朴に考えれば自分のパソコン(自宅LANの中のパソコンのどれかでも可)にそういうプロキシソフトを立てればいいだろうなと思っています。
クイックハックで作ってみたいなあと思っています。
原理的にはおそらく簡単で

●Webアクセスされるたびに、URLに一対一対応したファイルを(HDDに)保存
●保存したファイルをSubversionか何かにチェックイン
●チェックインした奴を閲覧するための別の口も用意しておく

で出来ると思うんですが、難点がひとつあって、

●ファイル名として受け付けてもらえないくらい馬鹿長いURL

をどう処理するか？のいいアイデアがまだ無い状態です。
どなたか、
「ファイル(名)を経由せずにチェックイン／アウトできるバージョン管理ツール」
が有ったら教えてください。
名前(のような属性)は好きなだけ長く複雑なものをつけてもいいってことにして、
あとファイル内容のような実データはストリームなどで直接やりとりってことで。

Re:ローカルじゃ駄目なの？

[Stealth (5277)]

Windows だったら Unicode 版 API を使っていればファイル名は MAX_PATH の制限から約 32,000 文字まで増えますので、大抵は URL そのままでも入るのではないでしょうか。

ANSI 版 API を使ってるアプリとかだとアウトですが。

Re:ローカルじゃ駄目なの？

[Anonymous Coward]

ファイル名をURLのハッシュ(最長128バイト程度、Filesystem Safeな文字限定)にすれば良いんじゃない。
まあそうすると単なるバージョン管理ソフトだけでは実現できないかもしれないけど。

Re:ローカルじゃ駄目なの？

[Anonymous Coward]

>ハッシュ(最長128バイト程度

やっぱりその辺になりますかね。

リアルなURLでファイルを探すのが難渋しそうですが、
考えたら探すときも同じハッシュ式で変換かけて探せばいいか。
(あいまい検索が心配だが)

あとURLそのものの記録は、たとえばSubversionだと
「属性」を食わせればいいかな。

1つのフォルダにファイルを大量に放り込むと遅くなったりするから、
128バイトを数段に区切ってフォルダ階層を作ればいいですね。

まあそういう風に妥協すれば
何とかなりそうですね。作ってみよっかな。

>バージョン管理ソ

Re:ローカルじゃ駄目なの？

[Anonymous Coward]

プロキシのキャシュを全文検索できるようにする、というシステムをオープンソースなもので組み合わせで作る、という話は、探すとあちこちでみつけられます。こういうのがあればよい?

Re:ローカルじゃ駄目なの？

[Anonymous Coward]

TOPです。

全文検索も欲しいですが、一方で過去情報の保持も欲しいと思っています。前述したように上書きされると(私としては)価値が半減なので。過去保持を実現してる「話」は、たとえばどんなのが有るでしょう？あまり見かけない気がするのですが。

なお、もちろん両方あわせて「過去」の「検索」が出来るのが理想です。そういえばCVSやSubversionで記録した過去バージョンの検索ってのはあまり聞きませんね。CVSWebとかでWeb化したうえでWeb検索エンジンにかけるっていう二度手間なら見かけますが、それだと(今回の話から離れますが)ローカルで開発してるときに鬱陶しい。そもそもプログラマのみなさんは「xxxって単語を消したのはいつだったかな」って調べるときどうしてるんでしょうか？そのためだけにWebサーバを立てたり？

これがPlan9だとリポジトリもディレクトリツリーとして見せてくれるのかな。だとすれば普通のgrepだろうがなんだろうが使い放題なわけですが。

Re:ローカルじゃ駄目なの？

[tokushima (155)]

それ実現すると
お前は何月何日～何月何日の間に×××という修正を加えた。俺はちゃんと記録しているんだ。
なんて感じの粘着する人が増えて、
いまの「リンクお断り」のように「HDDへの保存お断り」という問題フレーズを記載するサイトが増えそう。

--
It's not who is right, it's who is left.

Re:ローカルじゃ駄目なの？

[Anonymous Coward]

SwiftProxy [vector.co.jp]ってソフトでそういうことができるんですが、公開停止がずっと続いてるんですよねぇ。