« ミニチュア動画とインターバル撮影 | トップページ | 本日のiTunesランキング »

2012年2月15日 (水曜日)

MetamojiCrawler/1.0 襲来

 襲来とはおおげさなり。MetamojiCrawler/1.0というエージェントがクロールしている。1日で数千件単位。多すぎじゃないか?
 ウチのサイトを見まわっても何もないですよ。というか、負荷増やさないでくださいね。

 ということで、robots.txtで対処。Metamojiのサイトはちゃんとしてるところらしく、エージェントの名前にあったURLを見ると、robots.txtの書き方まで解説してあるのだった。こういうところが、信頼感をアップするのだろうな。というよりもクロールありきで構築されるようなコンテンツはどうなのかと思ったりもする。ほんとは何やってるかわかんないけど。


|

« ミニチュア動画とインターバル撮影 | トップページ | 本日のiTunesランキング »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/35726/53988265

この記事へのトラックバック一覧です: MetamojiCrawler/1.0 襲来:

« ミニチュア動画とインターバル撮影 | トップページ | 本日のiTunesランキング »