admin管理员组文章数量:1560451
最积极的搜索引擎蜘蛛有哪些可以屏蔽掉
大家都知道搜索引擎蜘蛛的数量越多越好，爬的页面也越多越好，不爬就不会在收录存在了。那么，最积极的搜索引擎蜘蛛有哪些呢？垃圾蜘蛛真的是爬遍全网，步极网提醒赶快屏蔽掉！
上图是步极wordpress建站内排名前十的蜘蛛，下面来分析各种蜘蛛对应的搜索引擎是哪个，是不是都可以引流呢？其实实际上那些疯狂的没有带来多少流量。
垃圾蜘蛛最喜欢光顾你的网站，注意屏蔽掉，切忌浪费资源
1、MJ12bot蜘蛛：对于新站，因为太少人关注到蜘蛛的利弊性。 网上对这个蜘蛛的方法都是采取了屏蔽的行为。
MJ12bot蜘蛛是英国的一家老牌的搜索引擎营销网站（zh.majestic）Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑。
做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数，不过很多公司看到日志里有这个MJ12bot蜘蛛，中文都是选择直接屏蔽掉（MJ12bot是Majestic-12分布式搜索引擎的爬虫）
而这蜘蛛是卖信息的，而非导流的。所以确实没有什么存在的价值了！
2、AhrefsBot蜘蛛：对于我们国内站长来说，这个蜘蛛几乎没有什么意义，并且它的爬去频次非常高，爬取深度也很深。有时候忍不住想，要是百度和这个AhrefsBot蜘蛛一样痴迷自己的网站就好了！
因为AhrefsBot是一家国外提供SEO服务的公司，提供专业的收费外链分析服务，所以他对链接的分析需求非常大，于是就近乎疯狂的每天大量爬取网络上的各种网站。再小的网站都不放过。
既然没有用处不能引流，并且浪费服务器资源，那我们就非常有必要把它屏蔽掉。
3、SemrushBot蜘蛛：是SEMrush的服务器搜索蜘蛛。https://zh.semrush
Semrush是一家老牌的提供搜索引擎优化数据的公司，建立于2008年，其原理就是semrush的服务器搜刮互联网上所有有价值的网站，对其进行分析归类，然后各个网站的联系，网站在google排名，关键词等等，是一款很好的网站分析工具。
semrushbot是国外一家提供seo数据分析的网站蜘蛛，在中文站长圈并不多见，并且对于我们来说没有什么意义，建议中文网站直接屏蔽。
屏蔽文件代码如下：
# robots.txt generated at http://tool.chinaz/robots/
User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: semrushbot
Disallow: /
User-agent: *
Disallow:
Disallow: /bin/
国内中文网站首选蜘蛛可以留下
1、YisouSpider蜘蛛：神马搜索引擎。
2、BaiduSpider蜘蛛：百度搜索引擎。
3、Googlebot蜘蛛：谷歌搜索引擎。
4、bingbot蜘蛛：必应搜索引擎。
不知道是什么搜索引擎蜘蛛的爬虫…
5、spider蜘蛛
6、DNSResearchBot蜘蛛：好像是DNS服务器的蜘蛛，说实话没找到这个蜘蛛的相关资料，可能跟网站的云加速有关。
以上就是步极网截止今日访问排名前十的蜘蛛统计，已经把前三个最积极的垃圾蜘蛛给屏蔽掉了，可以节省资源可以一做！
同步发文：步极网网站建设栏目
版权声明：本文标题：最积极的搜索引擎蜘蛛有哪些可以屏蔽掉 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1727437866a1114658.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论