アカウント名:
パスワード:
User-agent: *Crawl-delay: 10# Directories# 2015.08.17 ADD startDisallow: /
https://ebina.city-library.jp/library/robots.txt [city-library.jp]
お断りします
なんか、嫌な雰囲気な robots.txt ですね。
Disallow: /cron.phpDisallow: /INSTALL.mysql.txtDisallow: /INSTALL.pgsql.txtDisallow: /INSTALL.sqlite.txtDisallow: /install.phpDisallow: /INSTALL.txtDisallow: /MAINTAINERS.txtDisallow: /update.phpDisallow: /UPGRADE.txtDisallow: /xmlrpc.phpDisallow: /admin/Disallow: /?q=admin/
あたりは、管理用のプログラム等だと思われますが、robots.txt でクロールを拒否する以前に、そもそもWeb公開用のディレクトリ(public_html)以下に置くべきものではありません。アクセス時に適切に認証を要求していたとしても cron.php は余計だし、ルートに install.php なん
サブディレクトリに置かれたrobots.txtがサブディレクトリに置くなって警告してくれてる
# This file will be ignored unless it is at the root of your host:# Used: http://example.com/robots.txt# Ignored: http://example.com/site/robots.txt
この三行のほうが面白い。
まぁ既にコメントついてる通り、サンプル的なファイルだから制限の意図も意味もなさ気ですが。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
Stableって古いって意味だっけ? -- Debian初級
検索サイト (スコア:0)
Re: (スコア:0)
https://ebina.city-library.jp/library/robots.txt [city-library.jp]
お断りします
嫌な雰囲気な robots.txt ですね (スコア:3)
なんか、嫌な雰囲気な robots.txt ですね。
あたりは、管理用のプログラム等だと思われますが、robots.txt でクロールを拒否する以前に、そもそもWeb公開用のディレクトリ(public_html)以下に置くべきものではありません。アクセス時に適切に認証を要求していたとしても cron.php は余計だし、ルートに install.php なん
Re:嫌な雰囲気な robots.txt ですね (スコア:0)
サブディレクトリに置かれたrobots.txtがサブディレクトリに置くなって警告してくれてる
この三行のほうが面白い。
まぁ既にコメントついてる通り、サンプル的なファイルだから制限の意図も意味もなさ気ですが。