搜索引擎爬虫蜘蛛的USERAGENT大全

学习笔记 马富天 2016-03-30 10:25:52 79 3

【摘要】网络爬山几乎都是凌晨两三点来爬我们的网站,如果不通过JS统计访问量的话,自己的网站则很多都是由网络爬山造成的,以下是我从网上找找到的一下网络爬虫的userage整理笔记。如果您的访问统计表中有这些爬山,那就赶紧delete一下吧。今天我把我的网站的访问统计表过滤了一下,发现60%多的访问都是各种网络爬虫,所以我立马改成使用JS统计访问量了。

百度爬虫

* Baiduspider+(+http://www.baidu.com/search/spider.htm”)

google爬虫

* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

* Googlebot/2.1 (+http://www.googlebot.com/bot.html)

* Googlebot/2.1 (+http://www.google.com/bot.html)

雅虎爬虫(分别是雅虎中国和美国总部的爬虫)

*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)

*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)

新浪爱问爬虫

*iaskspider/2.0(+http://iask.com/help/help_index.html”)

*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫

*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易爬虫

*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )

MSN爬虫

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

360爬虫

http://www.haosou.com/help/help_3_2.html

python爬虫

Python-urllib/2.6

不知名爬虫Useragent

Mozilla/5.0 (Windows NT 6.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1

Gecko引擎

Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9b4) Gecko/2008030317 Firefox/3.0b4

必应搜索爬虫

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

神马搜索爬虫

YisouSpider

版权归 马富天PHP博客 所有

本文标题:《搜索引擎爬虫蜘蛛的USERAGENT大全》

本文链接地址:http://www.mafutian.net/23.html

转载请务必注明出处,小生将不胜感激,谢谢! 喜欢本文或觉得本文对您有帮助,请分享给您的朋友 ^_^

0

0

上一篇《 Jquery实现返回顶部,并且缓慢移动到顶部 》 下一篇《 html中的条件注释 》
分享到:

所有评论

  1. 首页
  2. 上一页
  3. 1
  4. 下一页
  5. 尾页
  6. 第1页
  7. 每页12条
  8. 共1页
  9. 共3条
评论审核未开启
表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情 表情
验证码

TOP10

  • 浏览最多
  • 评论最多