« 楽天ブックスのKADOKAWAが50% OFF、今日まで。星新一買った | トップページ | 楽天APIで気になったこと »

2014年10月14日 (火曜日)

クローラーを弾く

 robots.txtにて。アクセスログをチェック、ブラウザレポートからユーザーエージェント名をチェック。ブラウザ名のレポートにあるURLにアクセスしていろいろチェックしたり、ブラウザ名で検索かけたりして。

 とりあえず、多いのは以下のもの。もちろん、GoogleとかBingとかは残す。

User-agent: MJ12bot
Disallow: /
User-agent: XoviBot
Disallow: /
User-Agent: Yandex
Disallow: /
User-Agent: 360Spider
Disallow: /

 これで様子見。  こんなんで無駄なCPU負荷がかかってしまってはたまったもんではないんである。というメモでした。

|

« 楽天ブックスのKADOKAWAが50% OFF、今日まで。星新一買った | トップページ | 楽天APIで気になったこと »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/35726/60480080

この記事へのトラックバック一覧です: クローラーを弾く:

« 楽天ブックスのKADOKAWAが50% OFF、今日まで。星新一買った | トップページ | 楽天APIで気になったこと »