1. 程式人生 > >wget整站抓取、網站抓取功能

wget整站抓取、網站抓取功能

.net 工作 www. .html ack 保存 tps log tac

wget -r -p -np -k -E http://www.xxx.com 抓取整站

wget -l 1 -p -np -k http://www.xxx.com 抓取第一級

-r 遞歸抓取
-k 抓取之後修正鏈接,適合本地瀏覽

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wget -m -e robots=off -k -E "http://www.abc.net/"
可以將全站下載以本地的當前工作目錄,生成可訪問、完整的鏡像。


解釋:

-m //鏡像,就是整站抓取
-e robots=off //忽略robots協議,強制、流氓抓取
-k //將絕對URL鏈接轉換為本地相對URL
-E //將所有text/html文檔以.html擴展名保存

https://futurestack.cn/cookbook/devops/wgetsite/

wget整站抓取、網站抓取功能