admin管理员组

文章数量:1560444

 百度 baidu----Baiduspider

　　http://www.baidu/search/spider.htm

　　谷歌 google----Googlebot

　　http://www.google/bot.html 中文版请打开以下页面

　　http://www.google/support/webmasters/bin/topic.py?topic=8843

　　雅虎 yahoo----Yahoo

　　http://misc.yahoo/help.html 打开后跳转到以下页面

　　http://help.yahoo/property.html?product=websearch

　　有道 yodao----YodaoBot

　　http://www.yodao/help/webmaster/spider/

　　搜搜 soso----Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)

　　http://help.soso/webspider.htm

　　http://help.soso/soso-image-spider.htm

　　搜狗 sogou----sogou

　　http://www.sogou/docs/help/webmasters.htm#07

　　微软 msn----msnbot

　　http://search.msn/msnbot.htm 打开后跳转到以下页面

　　http://help.live/help.aspx?mkt=zh-cn&project=wl_webmasters

　　以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量

　　国外搜索引擎

　　gigablast----Gigabot

　　http://www.gigablast/spider.html

　　国外搜索引擎

　　webalta----WebAlta

　　http://www.webalta/ru/about_webmaster.html

　　国内的一个实验室的

　　apex.sjtu.edu

本文标签： 蜘蛛常见搜索引擎大全

版权声明：本文标题：常见搜索引擎蜘蛛大全 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1727437697a1114640.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。