
WebDataMagician是一款自动采集网页数据的工具,完全免费、无广告。本软件已有二十余年的历史,是我制作数据库的主要及常用工具之一。最早于2006年发布于网上读书园地WebDataMagician[网页数据采集工具]。初起为共享软件,近期对软件进行了一些更新调整,并改为免费软件,现分享给大家。
1,特色:WebDataMagician(网页数据魔术师),适用于批量收集网页上的数据。
4,智能化:智能化操作,可以轻松搞定获取数据的模板,并可导出模板信息以供随时调用或与他人分享、合作。
本程序由VB6编写,需要VB6运行库支持:需要安装运行库及一些控件才能正常运行主程序。如果无法正常运行软件,通常是缺少运行库或控件,请运行主程序所在路径的SETUP文件夹中的Setup.exe进行安装。建议安装前仔细阅读安装说明(setup\readme.txt)。注意:win7以上,需以管理员身份运行安装文件!绝不能将setup文件夹放在有空格的路径中,存放该文件夹名字不能有特殊符号如●号。
1,因为需要适应获取各种网页中的数据,程序设置非常灵活,所以需要有一定的耐心看完教程。
1,运行程序,打开需要获取数据的网页,待网页完全打开后,再进行相关设置。
2,设置获取数据的模板(设置如何自动翻页和获取数据的规则)。要实现自动获取数据的功能,必须具备二个条件:一是要能自动翻页,二是要能自动处理网页上的数据。模板就是记录如何自动翻页和如何提取数据的配置文件。
2.1设置自动翻页的模式:网页链接/合成链接/自动点击/源于资源以及本地数据处理。
2.3 设置获取数据的方法:文本标志/网页结构/网页元素/正则表达式以及下载文件。
4,必要时进行工程设置:如果一个网站数据的提取要分几步完成,可以先分别设置相应的模板,然后创建一个工程,把相应的模板按先后顺序加入到工程中并保存,运行这个工程,程序将自动按序完成任务。你也可以手工执行相关操作。如果网站的数据比较简单(只需要一个模板就能完成数据提取工作),当设置好模板后就能执行数据提取工作。