主流搜索引擎UA和对应的蜘蛛IP段

  • A+
所属分类：Web技巧

众所周知，搜索引擎蜘蛛/爬虫在网站SEO收录排名扮演者至关重要的角色，今天放放SEO就按照国内常用的搜索引擎顺序说说百度搜索引擎user agent和对应的蜘蛛IP段、搜狗UA和对应的蜘蛛IP段、360搜索UA和对应的蜘蛛IP段、神马UA和对应的蜘蛛IP段。

主流搜索引擎UA和对应的蜘蛛IP段

百度搜索引擎常用的5类蜘蛛

重点：百度内容抓取蜘蛛UA：

百度PC蜘蛛UA： Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
百度移动蜘蛛UA： Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

次重点：百度能执行JS、CSS高级爬虫UA

百度PC渲染抓取UA Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
百度移动渲染蜘蛛UA： Mozilla/5.0(iPhone;CPU iPhone OS 9_1 likeMac OS X)AppleWebKit/601.1.46(KHTML,like Gecko)Version/9.0 Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
百度图片蜘蛛：Baiduspider-image+(+http://www.baidu.com/search/spider.htm)
百度图片爬虫IP段：123.15.**.**

百度常用的IP段

站内收录正常最常见的百度蜘蛛IP段：220.181.108.*
代表百度蜘蛛IP来访准备抓取你东西
220.181.7.*
123.125.66.*
抓取内页收录的，权重较低，爬过此段的内页文章暂时被收录但不放出来，因不是原创或采集文章：123.125.71.*
其他认证百度蜘蛛（有待更多数据分析）
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

巡逻蜘蛛：210.72.225.*

百度高级爬虫UA匹配的IP段：111.206.221.*（疑似专门执行JS里链接爬虫）

这个ip段出现在新站及站点有不正常现象后。
183.91.40.144
203.208.60.*

百度蜘蛛IP段解析：

123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。

220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。

220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。

121.14.89.*这个ip段作为度过新站考察期。

203.208.60.*这个ip段出现在新站及站点有不正常现象后。

210.72.225.*这个ip段不间断巡逻各站。

125.90.88.* 广东电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。

220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。

220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。

123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。

220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。

220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。

123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。

220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。

注：以上IP尾数还有很多，123.125.71.*段IP代表抓取内页收录的权重比较低。可能由于你采集文章或拼文章暂时被收录但不放出来。(意思也就是说待定)。

220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证！

一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。

搜狗UA和对应的蜘蛛IP段

搜狗搜索引擎UA:Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
图片蜘蛛：Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜狗蜘蛛IP段:
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80

 

360搜索UA和对应的蜘蛛IP段

360搜索UA：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

360蜘蛛IP段

101.226.166.*(101.226.166.195~101.226.166.254，共60个)

101.226.167.*(101.226.167.195~101.226.167.254，共60个)

101.226.168.*(101.226.168.195~101.226.168.254，共60个)

101.226.169.*(101.226.169.195~101.226.169.230，共36个)

180.153.236.*(180.153.236.11~26；180.153.236.35~180.153.236.74；180.153.236.101~180.153.236.196，共152个)

182.118.20.*(182.118.20.201~182.118.20.254，共39个)

182.118.21.*(182.118.21.201~182.118.21.*254，共54个)

182.118.22.*(182.118.22.141~182.118.22.149；182.118.22.211~182.118.22.250，共64个)

182.118.25.*(182.118.25.131~182.118.25.245；)

182.118.28.*

61.55.185.*

101.199.*.*

220.181.126.*

182.118.26.110 ~ 182.118.26.239（时效性UA IP段，主要针对网站内容更新的爬取）

360蜘蛛IP段解析

220.181.126.*、101.199.*.*据说为360举报IP。也就是说，假如你的网站日志出现这个IP段，你的网站被举报了。如果是违法站，那就自求多福吧。

神马搜索引擎UA和IP段

神马蜘蛛UA标识：YisouSpider   真是简单明了，IP端也很简单，及时UC带来的流量，所以IP端也是从阿里云来的：

修改:

神马蜘蛛User_agent：

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

对应IP段：

42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1

对应IP段：106.11.15*.*

 

 

Google搜索引擎蜘蛛IP地址大全

216.239.33.*

216.239.35.*

216.239.37.*

216.239.39.*

216.239.51.*

216.239.53.*

216.239.55.*

216.239.57.*

216.239.59.*

64.233.161.*

64.233.189.*

66.102.11.*

66.102.7.*

66.102.9.*

66.249.64.*

66.249.65.*

66.249.66.*

66.249.71.*

66.249.72.*

72.14.207.*

谷歌蜘蛛IP段解析

202.101.43.*、222.73.247.*、66.249.65.* 这三个ip段是最为常规出现的

66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段

210.72.225.*这个ip段不间断巡逻各站

203.208.60.*这个ip段出现在新站及站点有不正常现象后

 

 

其他蜘蛛IP段

163搜索引擎蜘蛛IP地址大全

202.106.186.*

202.108.36.*

202.108.44.*

202.108.45.*

202.108.5.*

202.108.9.*

220.181.12.*

220.181.13.*

220.181.14.*

220.181.15.*

220.181.28.*

220.181.31.*

222.185.245.*

iask搜索引擎蜘蛛IP地址大全

61.135.152.*

msn搜索引擎蜘蛛IP地址大全

65.54.188.*

65.54.225.*

65.54.226.*

65.54.228.*

65.54.229.*

207.46.98.*

207.68.157.*

搜搜蜘蛛IP地址

219.133.40.*

202.96.170.*

202.104.129.*

61.135.157.*

新浪搜索引擎蜘蛛IP地址

219.142.118.*

219.142.78.*

搜狐搜索引擎蜘蛛IP地址

61.135.132.*

220.181.26.*

220.181.19.*

Yahoo搜索引擎蜘蛛IP地址

66.196.90.*

66.196.91.*

68.142.249.*

68.142.250.*

68.142.251.*

72.30.101.*

72.30.102.*

72.30.103.*

72.30.104.*

72.30.107.*

72.30.110.*

72.30.111.*

72.30.128.*

72.30.129.*

72.30.131.*

72.30.133.*

72.30.134.*

72.30.135.*

72.30.216.*

72.30.226.*

72.30.252.*

72.30.97.*

72.30.98.*

72.30.99.*

74.6.74.*

Yahoo中国搜索引擎蜘蛛IP地址

202.165.102.*

202.160.178.*

202.160.179.*

202.160.180.*

202.160.181.*

202.160.183.*

中搜蜘搜索引擎蜘蛛IP地址

202.108.4.*

202.108.4.*

202.108.33.*

202.96.51.*

219.142.53.*

收 藏

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: