Baiduのクローラーが暴れん坊な件
この間サーバーが異常に高負荷になって少しイヤーンな気持ちになった。
ログを調べると"BaiduMobaider"とやらが1000回ぐらいクロールして来ている!
しかも、robots.txtで禁止しているディレクトリのところに!?
どういう事ですかバイドゥさん??
そんなわけでちょっと調べたりしたわけですが、
現在のrobots.txt
Baiduのサポートページによると
”disallow”って小文字で書かなくちゃいけない???
にわかには信じられないけれどとりあえず
ログを調べると"BaiduMobaider"とやらが1000回ぐらいクロールして来ている!
しかも、robots.txtで禁止しているディレクトリのところに!?
どういう事ですかバイドゥさん??
そんなわけでちょっと調べたりしたわけですが、
現在のrobots.txt
User-agent: *みたいな感じにしてて、特定のディレクトリだけはじいているのですが。
Allow: /
Disallow: /hoge/hoge/*
Baiduのサポートページによると
”disallow”って小文字で書かなくちゃいけない???
にわかには信じられないけれどとりあえず
user-agent: Baiduspiderってのを追加して様子をみることとする。(全拒否w
disallow: /
user-agent: BaiduImagespider
disallow: /
user-agent: BaiduMobaider
disallow: /
コメント
コメントを投稿