admin管理员组

文章数量:1560444

在server {} 块中添加下面的配置

 

    location =/robots.txt {
        default_type text/html;
        add_header Content-Type "text/plain; charset=UTF-8";
        return 200 "User-Agent: *\nDisallow: /";
    }

 

在线测试robots.txt是否生效

https://ziyuan.baidu/robots/index

 

robots.txt文件生产工具：http://tool.chinaz/robots/

 

其他网站参考：

https://www.tmall/robots.txt

https://www.jd/robots.txt

https://www.qq/robots.txt

 

转载于:https://wwwblogs/linkenpark/p/10853147.html

本文标签： 蜘蛛搜索引擎NginxrobotsTXT

版权声明：本文标题：nginx通过robots.txt禁止所有蜘蛛访问（禁止搜索引擎收录） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1727438628a1114731.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。