アカウント名:
パスワード:
都合の悪い情報が検索にかからないように、なるべく見られたくない情報は検索エンジンによるインデックスされないようにするのは、大半の営利企業ならやっていることです。
しかし、安易に見える形でmeta要素でnoindexとするのはレベルが低すぎます。
超低レベル:(html内)
低レベル:(http header内) X-Robots-Tag: noindex
業界標準レベル:(WebサーバレベルでUserAgentで弾く、以下はApacheの例)
BrowserMatch "Googlebot" deny_botsDeny from deny_bots
Googleのクロール用のBotはUserAgentにGooglebotが含まれますこれをDenyすればクロールされないし、一般ユーザには「ばれにく
ちなみに、特定のページのみ403 Errorにしてクロールを妨害しても、他のページのクロールには支障がないしサイトがスパム判定されることもないのでSEO上は無問題です安心してクロールされたくないページはrobotに対して403にしましょう
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
私は悩みをリストアップし始めたが、そのあまりの長さにいやけがさし、何も考えないことにした。-- Robert C. Pike
Web担当者のレベルが低すぎる (スコア:5, 参考になる)
都合の悪い情報が検索にかからないように、なるべく見られたくない情報は検索エンジンによるインデックスされないようにするのは、大半の営利企業ならやっていることです。
しかし、安易に見える形でmeta要素でnoindexとするのはレベルが低すぎます。
超低レベル:
(html内)
低レベル:
(http header内) X-Robots-Tag: noindex
業界標準レベル:
(WebサーバレベルでUserAgentで弾く、以下はApacheの例)
BrowserMatch "Googlebot" deny_bots
Deny from deny_bots
Googleのクロール用のBotはUserAgentにGooglebotが含まれます
これをDenyすればクロールされないし、一般ユーザには「ばれにく
Re:Web担当者のレベルが低すぎる (スコア:0)
ちなみに、特定のページのみ403 Errorにしてクロールを妨害しても、他のページのクロールには支障がないしサイトがスパム判定されることもないのでSEO上は無問題です
安心してクロールされたくないページはrobotに対して403にしましょう