• 欢迎访问奇跡の海网站,本站不上传任何资源,所有资源均来自于网络,欢迎加入奇跡の海~!奇跡の海-WordPress QQ群
  • 本站下载资源为网络上收集整理而来,并且以计算机技术研究交流为目的,版权归原作者所有,仅供大家参考,学习,不存在任何商业目的与商业用途.
  • 本站系统镜像均来自于官方原版,ed2k可视为P2P下载链接。所有操作系统默认均为试用版,如有正版密钥可以有效激活,本站不提供任何激活和相关服务。

HTTrack Website Copier 工具与使用指南(图文)

软件教程 奇跡の海 2年前 (2017-11-13) 1305次浏览 已收录 0个评论 扫描二维码

HTTrack工具介绍

HTTrack是一个网站镜像工具,本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像,这也逐渐应用到 SEO(搜索引擎优化)工作中。其实这两种看似不同的爬虫做的都是同样的工作,就是复制网站并存储下来(网站在搜索引擎中的网页快照就是被存储下来的内容)。

HTTrack Website Copier界面如下图所示:

HTTrack Website Copier 工具与使用指南(图文)

我们一般用 HTTrack Website Copier 来对网站进行检测或测试,模拟爬虫对受保护服务的爬行、抓取、收录,以来测试我们的防护设备对爬虫的防护。

HTTrack工具使用

第一步:创立项目的名称(工程名)

第二步:选择操作方式,再点击“添加URL”,将我们的网站地址添加进去。
HTTrack Website Copier 工具与使用指南(图文)
第三步:进入“选项”,设定爬行和抓取规则等选项
HTTrack Website Copier 工具与使用指南(图文)
在选项中,取消使用代理进行FTP传输;
进入“扫描规则”,为HTTrack程序设定爬行和抓取规则,HTTrack里面自带了一些,可以自己设置,也可以默认。
HTTrack Website Copier 工具与使用指南(图文)
这样的扫描规则搜索引擎也一定会有的,比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接, 如 ad.doubleclick.net 。你需要把一些搜索引擎爬虫不收录的特征加进去。

然后在“搜寻”里面,很多的特征都是现在搜索引擎爬虫的特征:
HTTrack Website Copier 工具与使用指南(图文)
一般的搜索引擎不会接收cookies,因此测试时我们也将此项去掉。
第四步:一般按照以上设置就可以,其他的默认就行。点击下一步:
HTTrack Website Copier 工具与使用指南(图文)
在此页面,我们不用选择任何项,直接点击完成就可以进行测试了,如下图
HTTrack Website Copier 工具与使用指南(图文)
此时,HTTrack开始对网页进行爬行,抓取。


版权声明:本站所有文章和资源使用CC BY-NC-SA 4.0协议授权发布 , 转载应当以相同方式注明文章来自“SeaOMC.COM->HTTrack Website Copier 工具与使用指南(图文)!在下边可以分享本文哦!
喜欢 (0)
[]
分享 (0)
奇跡の海
关于作者:
一个WordPress菜鸟!
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址