首页
系统
动态
电子资讯
硬件
数码
软件介绍
网络软件
系统工具
应用软件
图形图像
多媒体
编程开发
字体下载
登录
标签
死链
Shell脚本自动抓取蜘蛛404死链并提交到搜索引擎
脚本主要功能:每天定时分析网站前一天的 nginx 日志, 然后提取状态码为 404 并且 UA 为百度蜘蛛的抓取路径,并写入到网站根目录下的 death.txt 文件&am
蜘蛛
脚本
搜索引擎
死链
Shell
admin
7小时前
6
0