« WordPressのコメントに通し番号を付ける | トップページ | ミュージック・ラバーズの布袋寅泰のバックがすごかった »

2011年5月12日 (木曜日)

クローラーcrawl.yahoo.netを拒否してよいものか?

 レンタルサーバーのアクセスログを見ると、「b3091064.crawl.yahoo.net」というホストからのレポートが数千件。1日で、だ。

 ご存知のとおり、現在、Yahoo! JAPANの検索結果はGoogleのものが使わている(いつからだっけ?)。

 であれば、Yahoo!のクローラーが来ても意味はないのではないか?

 運営しているサイトは100%日本人向けだ。Googleのクローラーがクロールする分には歓迎だが、海外の人向けの検索サービスのクローラーはサーバーへの負荷を高めるだけでいいことはない。

 と、思ってるんだけど、実際はどうなんだろう。別の目的のクローラーだったりしたら? 

 っていうか、その前にUser-Agentみろ。というわけで見てみると、

 http://help.yahoo.com/help/us/ysearch/slurp

 になんか書いてあるらしい。読む。robots.txtに従ってくれるらしい。ここのクローラーを弾く例が書かれていると思いきや、一般的な例があるだけで、そのものを弾く設定は書いてない。ケチ。

 検索してみるとこんなのが。

 Slurp拒否はYahoo! Japanの検索結果に影響なし|MAKIZOU.COMはてなブックマーク - Slurp拒否はYahoo! Japanの検索結果に影響なし|MAKIZOU.COM

 拒否で大丈夫みたい。ということで、robots.txtに以下を書いた。

User-agent: Slurp
Disallow: /

 さて、どうなりますかね。様子見。(上記、改行されてなかったので修正しました)

 あっ、でもよく読むと、アメリカのYahoo!から検索する日本人もいるかもか。いや、いても少ないだろうし、ウチのサイトはそういう人に役立つものじゃないからいいか。という結論。とりあえず、メモ。


|

« WordPressのコメントに通し番号を付ける | トップページ | ミュージック・ラバーズの布袋寅泰のバックがすごかった »

コメント

crawl.yahoo.netを拒否した後に
自然検索経由の流入って減りましたでしょうか?

投稿: スーパー炭酸タイム | 2011年5月23日 (月曜日) 午後 07時59分

>自然検索経由の流入って減りましたでしょうか?

今のところ目立った違いは出てません。

というか、3月20日ごろ以降、極端にアクセスが減ったという前提がありまして。今回の設定変更による違いが出るようなアクセスが施行前と後ともにない、ということもあります。役に立たない話であれですが。

投稿: ここの人 | 2011年5月23日 (月曜日) 午後 10時55分

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/35726/51652447

この記事へのトラックバック一覧です: クローラーcrawl.yahoo.netを拒否してよいものか?:

« WordPressのコメントに通し番号を付ける | トップページ | ミュージック・ラバーズの布袋寅泰のバックがすごかった »