kboom @ wiki
迷惑なクローラー
最終更新：
kboom
-
view
迷惑なクローラー
GoogleやYahooなどUserAgentを正式に発表してくれているものはいいですが
UserAgentを変えて一般ユーザ風でアクセスしてこられると
サーバーに負荷をかけ、アクセスログ分析の邪魔にもなる各会社のクローラー達（ ゜皿 ゜）
ここは私が仕事中に見つけた怪しいUserAgent達の覚書です。
UserAgentを変えて一般ユーザ風でアクセスしてこられると
サーバーに負荷をかけ、アクセスログ分析の邪魔にもなる各会社のクローラー達（ ゜皿 ゜）
ここは私が仕事中に見つけた怪しいUserAgent達の覚書です。
;
P90liS
DoCoMo/2.0 P90liS(c100;TB;W20H10)
一見ドコモの「P901iS」かと思いきや！「P90liS」！！
「1」⇒「l」になってるんです。ビビリます。
IPを調べると中国からのアクセスと分かります。
「1」⇒「l」になってるんです。ビビリます。
IPを調べると中国からのアクセスと分かります。
Yeti
もの凄い数アクセスしてくる...
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)"
wikipedia：http://ja.wikipedia.org/wiki/NaverBot
百度（バイドゥ）
迷惑クローラーって訳ではないですが...
Baiduspider+(+http://www.baidu.jp/spider/) BaiduImagespider(+http://www.baidu.jp/spider/) DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/)
