2.5.5更新
新增文件本地化、图片加水印
修复页面渲染代理问题
修复xpath无效问题
修复网址重定向抓取失败问题
支持url中文参数转码
调用接口增加多种提取方式
可以触发指定id任务
插件可调试输出内容
优化细节修复bug等
2.5.4更新
修复渲染工具无法连接问题(报500错误)
2.5.3更新
优化页面渲染功能
修复渲染动作无效(ajax加载的内容无法点击)、页面空白等问题
新增发布调用接口“一键导入”功能
优化多处小细节及修复bug等
2.5.2更新
采集进程优化
页面渲染可执行动作
代理分组、代理优化
数据库发布可查询更新数据
注意:windows用户更新后如果提示“类不存在:skycaiji\common\model\ProxyIp”需要手动将vendor/skycaiji/app/admin/model中的Proxyip.php重命名为ProxyIp.php
2.5.1.1 漏洞修复
修复插件上传反序列化漏洞
2.5.1更新
修复cli模式自动采集无法运行问题
2.5更新
优化采集体验
增加多进程模式
新增前置页(模拟登录)
起始页、多级页可设置分页,增加在页面中提取内容标签功能
修复bug等
可在手册中查看功能细节:https://www.skycaiji.com/manual/doc/collector
欢迎提交反馈:https://gitee.com/zorlan/skycaiji/issues/new
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
请问:前置页用作模拟登录,需要输入账号密码登录 在哪里设置?
不错不错不,赶上更新了
赶上更新了
还以为作者要放弃这个项目了,加油,牛逼
七牛如何使用,能出一份教程吗?
给博主大写的赞
博主你好,蓝天采集器能够接入百度ai文本审核吗?就是可以过滤掉涉政 违法的信息不予采集。我被jc 教育处罚了。采集了别人故意发表的不良文章。
哈哈,作者再接再厉,还是很不错哦。
发布的txt和接口格式可以自己更改就好了
请教一下:如果是post请求,请求是json格式,那么后面的值怎么填写?
比如:
{
"rn": 20,
"condition": [
{
"fieldName": "fieldvalue",
"isLike": true,
"likeType": 2,
"equal": "苏州市"
}
],
"isBusiness": "1"
}
整个作为字符串填入
或者单个节点填入
你好,请问渲染功能开启可以同时使用ip代理么?渲染时候提示这个错误:页面渲染失败:Connection to 'ws://127.0.0.1/devtools/page/' failed: Server sent invalid upgrade response: HTTP/1.1 500 Internal Server Error Content-Length:19 Content-Type:text/html 请检查渲染设置 代理设置
取消自动补全网址不生效。
这个只能将不完整的补全,你的可能是html源码里面就是完整的网址了
html是相对路径,采集的结果却总是补全。
你好,提交个反馈 https://gitee.com/zorlan/skycaiji/issues/new
把问题详细说明下,具体哪个步骤哪个网址是有这个问题的
已反馈
你好,翻译功能可以更新下吗,可以翻译2次,汉译英,然后在英译汉,翻译回来。
登录 后才可以发表评论