模板文件不存在: ./template/pc/header.htm

新闻资讯

2026-08-25 04:56:46

神采-网页数据采集软件采集软件_爬虫_爬虫工具_器_网页抓取

分享到:

  

神采-网页数据采集软件采集软件_爬虫_爬虫工具_器_网页抓取(图1)

  2、废除选项:复制XPath时覆盖现有,改为:复制XPath时,按Shift键可覆盖现有内容

  1、重构“滚动翻页”:不再使用成功标志,改为自动判断滚动翻页成功。2、导航规则:将面板“解析脚本、模拟点击“,合并为“解析脚本与模拟点击”,简化设置选项,提高了界面体验。3、源文件查看器,延迟秒数:重构快捷键,Ctrl+1-6(1-6秒),Ctrl+Alt+1-6(10-60秒),最多可等待60秒。

  1、重构“动作失败监测”,增加选项:连续加载内容失败多少次后,表示动作失败;任务暂停后,进入恢复区。2、重构插件接口(IBget 5.1):加载失败后,通知插件 - 使用插件判断动作失败(动作失败监测);重构接口名称:LoadingFailed - CheckActionFailure;增加接口事件:SetTaskAsAvailable。3、全局设置, 废除选项:任务正常后,自动恢复为可用。改为由插件决定:是否需要将任务恢复为可用 (通过事件 SetTaskAsAvailable)。

  1、任务设置,增加选项:加载完成后,提前结束延迟 - 排除导航层次。以解决有些层次,不适合使用“提前结束延迟”的问题。2、 可视化采集配置 - “后退”按钮: 不再支持快捷键“Back”。3、全局设置,增加 ToolTip 链接:使用浏览器内核时,只能设置一份代理IP。

  1、任务设置,增加选项:加载完成后,提前结束延迟。以优化使用解析脚本、模拟点击时的效率,减少等待时间。2、全局设置,增加 ToolTip 链接:使用浏览器内核时,代理IP失效后的表现。3、采集规则 - 使用XPath采集内容,多行XPath时的匹配策略:从之前的“顺序优先”,改为“内容优先”,即:即使匹配成功,如果采集内容为空,仍继续匹配下一行XPath。

  1、整理类库文件夹,非软件自身类库,统一整理到 library 文件夹。2、将原文件夹 x64、x86,整理到 library,作为子文件夹。 3、Gecko内核:使用 Geckofx 60.0.26 时,提示安装 VC2015 运行库。

  1、升级Gecko内核:Geckofx 60.0.26,以解决:可视化配置放大范围或运行任务时,出现的错误信息:COM 对象与其基础 RCW 分开后就不能再使用。2、优化采集结果筛选,重构标签名称:操作符 - 对比操作符,值 - 对比值,连接方式 - 组合逻辑,以及优化ToolTip提示。3、全局设置,废除选项:保存日志到文件、任务队列开关,改为默认启用。优化全局设置中的部分界面细节。4、优化主界面、任务编辑、任务日志多处细节,增加菜单:查看软件日志(F10),查看服务日志(F11)。

  1、调整等待 ReadyState 策略:解析脚本或模拟点击时,加载内容超时后,如果是 interactive (IsBusy 一定是 true,否则已经退出了循环),仍然允许继续加载。

  1、修复bug:使用浏览器内核时,如果不判断 IsBusy,会立即认为加载成功,导致采集的数据与上一条完全重复 (优化“模拟点击”效率时,引入的bug)。2、修复细节bug:休息间隔,出现2次(任务日志:线 秒,线 秒),已调整为:图片下载后,线程不再休息。

  1、修复“历史记录”bug:上个版本(V6.3.2)中,判断“非POST参数”的历史记录失效

  1、解决问题:JSON格式的POST请求发包后,返回的“JSON包”源文件内容被截断。2、源文件查看器和导航规则中,重构选项:进行JS解码 - 进行字符反转义(CharUnescape)。3、源文件查看器和导航规则中,增加选项:进行HTML解码(HtmlDecode)。4、源文件查看器,改进细节:进行HTML解码、进行字符反转义后,记住滚动条位置。5、重构选项:兼容旧版任务 - 格式化HTML(1.0),为“格式化HTML”的后期升级,明确了模式。6、优化任务日志:开始任务后的提示日志,缩进一级。7、修复“历史记录”bug:提取下一页时,如果带有post参数,历史记录判断失败(之前没有判断post参数部分,优化后改为“判断post参数的哈希值”)。8、采集规则,重构选项:全局规则(Global)- 始终从顶部查找(FindingFromTop),静态规则(Static)- 当前位置不移动(PositionNotMove)。9、任务编辑:优化部分标签名称、提示信息(ToolTip)。

  1、增加功能:支持JSON格式的POST请求,可自动识别JSON格式。2、源文件查看器:进行JS解码,改成即时生效的方式,类似于“格式化JSON”。3、修复bug:使用Gecko内核后,如果内核文件夹不存在,任务编辑时会自动改为IE内核,而运行任务时却提示“请下载 Gecko 内核”。4、优化“可视化配置”界面细节:在“配置模式”下,按 C、E、R、F 键后,在状态栏给出提醒文字;提取规则名称:在网页中选中内容后,也可以提取为规则名称。5、任务编辑:必填项标签右侧,增加一个红色 * 号(包括可视化配置)。6、优化部分日志细节:service_trace.txt 中的日志。

  1、优化“模拟点击”:解决了单路径限制问题,大幅提升了“模拟点击”的应用范围。2、增强“模拟点击查看器”的界面稳定性,任务开始时,打开窗口界面不再卡顿。3、解决问题:在win10系统中,基于IE内核的欢迎页面中的链接无法弹窗。4、提升“模拟点击”速度,等待 ReadyState 的时间缩短。 5、增强“代理服务器”功能,开始支持IE、Gecko内核,插件接口支持:切换代理服务器的同时可换请求头(如UserAgent等)。6、增加重启选项:有任务正在运行,则推迟重启。7、可视化配置“浏览模式”下,按“R键、F键、E键、C键”后,不再拦截,允许输入到网页。7、修复bug:切换帐号后,Gecko内核无法再次使用,必须退出程序重新登录。

  修复bug:6.2.21 引入的bug,添加起始地址时,误判为多行(每次都提示包含换行)。

  1、可视化采集时,普通“循环标志”将不起作用,在任务日志中给出明确提示。2、使用XPath提取下一页失败时,也要在日志中提示。3、日志提示细节:提取下一页重复时,不能提示达到最后一页,必须明确提示。4、循环采集:找不到“普通”循环标志时,日志提示不正确,应该提示“循环采集 1 次. 在源文件中, 未找到循环标志: xxxx”。5、删除界面控件的 Tag,与 ToolTip 统一内容。6、废除选项:采集结果替换 - 反复执行替换,需要时,可手动复制多条“替换”。7、增加选项:采集结果替换 - 下载文件前替换(BeforeDownload)。8、动作失败后,通知管理员时,通知邮件支持SSL加密协议。9、改进细节:源文件替换成功或失败时,都会提示一下,方便调试任务。10、修复bug:在某些win10机器上,点击文本框后,输入法会换成全角中文。11、添加起始地址,支持一次添加多条,可自动识别“换行符”并提示“是否添加为多条”。

  1、原本想法,任务运行时,让IE内核支持“短XPath”:已改为,统一使用“短XPath”,包括Gecko内核。2、JSON内容,在源文件查看器中,可以格式化显示;增加设置:导航规则 - 高级选项 - 格式化JSON(FormatJson)。3、解决有些机器上,软件升级失败的问题,同时重构“Updater”本身的升级思路。

  1、修复gug:提示日志“由于 加载源文件 导致查询XPath失败时, 建议尝试切换模拟点击内核, 或使用单路径模式”后,不能暂停任务,否则会反复采集此条。

  1、解决:升级到.5后,某些机器上,无法提示安装.net4.5框架的问题。2、重构名称:处理脚本 - 解析脚本。3、细节:任务恢复区,快捷键改为 F9(跟任务继续运行有关)。

  1、可视化配置,修复bug:在采集规则、导航规则名称下拉输入框,按C键时,会复制XPath,同样按E键时,会提取规则名称。2、可视化配置,XPath测试:改进XPath表达式,不再以 [*] 结尾,如:li[*] - li。3、可视化配置,开始支持连续点击元素,在某些场景下,大幅提升配置效率。3、可视化配置:点击当前元素“XX”后,会导致之后所有“点击事件”拦截失败。原因:点击后,并未引发 Navigating 事件,导致无法拦截、无法加亮 (已处理)。4、软件.net框架,升级到 .net 4.5,以适合某些最新技术页面的采集。

  1、修复模拟点击bug一处。2、重构“使用XPath”名称,如:使用XPath - 使用XPath提取网址 等。3、解析脚本:暂停任务时,回收URL,以避免漏采URL。4、加载“模拟点击缓存”失败时,会导致:无法继续翻页(点击下一页),或当前URL丢失(点击下一层),已解决:回收URL。5、修复bug:源文件查看器,与软件不一致(已解决:设置IE版本时,必须使用 Application.ExecutablePath,而不是固定字符串“bget.exe”)。6、可视化采集:IE内核,打开源文件查看器时,需要标准化源文件,否则有大写字母。7、模拟点击查看器:保持单一窗口。8、任务设置:增加选项“浏览器运行时可见”(WebBrowserAlwaysVisible)。9、增加任务设置:使用单路径模式 (SinglePathMode)。10、可视化配置:首次切换(或被迫切换)可视化配置内核时,也要绑定cookie,与打开时类似。 11、改进其它细节功能。

  1、采集结果筛选:增加操作符“匹配正则式 (MatchRegex) ”。2、 循环标志右侧,增加2个选项:跳过首行、跳过尾行。

  1、导航规则、采集规则,支持复制粘贴。2、循环采集标志,开始支持正则表达式。

  1、在线发布器,修复bug:无法识别MDB文件,会识别为 SQLite。2、软件导出 Access 时,自动添加主键。

  1、修复“在线发布器”bug:运行时,出现未捕获异常(由于旧功能“在线、在线发布器:目标地址编辑,增加查找功能。

  1、插件插件升级,支持生成网页截图。2、插件增加接口:从插件加载扩展脚本参数值(LoadExtendedJSParamValues)。3、重构其它插件细节参数。

  1、修复bug:循环采集,如果关键规则采集失败,数据仍被保留。2、改进细节:“连续采集内容失败已达到 5 次, 任务动作失败!”,只提示一次。3、修复bug:本地起始地址,修改或清空后,无法保存成功。4、可视化采集配置,修复bug:使用Gecko内核时,个别网页,移动鼠标时,元素加亮失败。5、细化任务日志多处。6、采集规则,编辑现有条目:如果“所属层次”为空,则保留现有值,不影响保存,以方便保存单条测试任务。

  1、增加全局设置:扩展脚本执行后,延迟几秒。2、修复bug:翻页点击时,有时出现“无法继续点击翻页,未找到拟点击XPath”。3、修复bug:IE内核,任务暂停后,再继续,出现“模拟点击出错: 未将对象引用设置到对象的实例”。4、模拟点击查看器:增加按钮“查看完整源文件”。5、细化任务日志3处:已兼容旧版任务、点击下一层XPath、点击下一页XPath。

  1、修复bug:带有base标记时,合并相对URL失败。2、修复6.2版本bug:使用 IE、Gecko 解析脚本时,由于bug导致下一层网址模板变成了相对路径,最终导致任务运行时提取“下一层网址”失败。

  1、解决:可视化采集配置时,IE内核,放大范围时每次跳2次。2、修复bug:部分页面出现“模拟点击出错:未将对象引用设置到对象的实例”。3、将全局设置“解析脚本内核”统一到任务,统一为“模拟点击内核”。4、新功能:任务 - 模拟点击查看器,可查看模拟点击的过程,方便调试问题。5、主界面,重构快捷键:任务恢复区、清理空闲任务缓存。6、新功能:IE内核,也开始支持扩展脚本。7、解决可视化采集配置,屏幕兼容问题:最小可兼容到 1366x768 像素。8、细化日志:如果由于内核不兼容导致XPath匹配失败,则给出提示。9、可视化采集配置,改进操作细节多处。

  1、修复6.2版本bug:由于bug导致下一层网址模板变成了相对路径,最终导致任务运行时提取“下一层网址”失败。2、可视化采集配置,改进操作细节2处(包括:IE内核,支持快捷键;测试JS脚本时,空内容不允许测试)。

上一篇:数字随机抽取器
下一篇:数据抽取工具-红樱枫-博客园