目前最全的网站扒皮工具集合
Windows工具:仿站小工具,适合单页面抓,只想用一个页面的时候用它。
Windows工具:WinHTTrack(2017以来未更新),非常好用的一个工具,我抓整站用的最多就是它。
MacOS工具:SiteSucker Pro,Mac系统上一款暴力整站工具,只需输入一个URL,按下回车键,就可以下载整个网站,就是这么简单!。
Linux工具:需要用到我们平时最常用的命令行下载器Wget,就能完成整个网站数据的下载操作。
#下面的命令会在终端所在目录创建一个www.liulinyuan.com目录,将网站www.liulinyuan.com上的数据全部下载到这个目录中wget -rck -np www.liulinyuan.com
wget -rck -np www.liulinyuan.com #对应参数解释: #-r,递归下载 #-c,断点续传,若网站长时间未响应或中途断开,此参数可以让数据断点续传 #-k,转换链接为本地链接 #-np,--no-parent不追溯至父级
可以将目标站点的目录结构、html 网页、图像、PDF、样式表、音视频等文件异步保存到本地。
Windows工具:wget.exe,用法和Linux相似,不过可以基于此开发。
.\wget.exe -rck -np www.liulinyuan.com