admin管理员组

文章数量:1626223

wget -m -e robots=off -U “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6” “http://www.example/”

wget命令 参数注释:

“-e robots=off”  让wget耍流氓无视robots.txt协议

或者改成

-U “Baiduspider+(+http://www.baidu/search/spider.htm)” 模拟百度蜘蛛爬行

这个命令可以以递归的方式下载整站,并可以将下载的页面中的链接转换为本地链接。

wget加上参数之后,即可成为相当强大的下载工具。

wget -r -p -np -k http://xxx/abc/

-r,  –recursive(递归)          specify recursive download.(指定递归下载)

-k,  –convert-links(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)

-p,  –page-requisites(页面必需元素)    get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)

-np, –no-parent(不追溯至父级)          don’t ascend to the parent directory.

另外断点续传用-nc参数 日志 用-o参数

熟练掌握wget命令,可以帮助你方便的使用linux。

如果需要查阅完整详细的帮助说明可以看这里:wget 中文详细使用说明

打赏

微信扫一扫,打赏作者吧~

本文标签: 镜像命令网站Linux