137 Star 803 Fork 273

zorlan / 蓝天采集器

 / 详情

添加多个同站采集任务,设置了过滤,但是还是会重复采集

待办的
创建于  
2023-10-08 23:42

发现2个问题:
1,添加多个同站采集任务,设置了过滤,同步后台采集,中途停掉某个任务,或者都停掉,然后重新开启采集,设置过滤就无效了,任务会从头开始重复采集。
2,另外采集过的任务删掉后,已经采集过数据那里也删掉了,重新添加相同的任务采集,会直接跳到之前已经删掉的采集数据那里继续采集,而不是重新开始采集。

评论 (1)

万股 创建了任务

1、任务会从头开始重复采集,指的是什么重复采集?内容网址采集过不会再采,其它起始页、多级页等可以设置采集间隔时间防止重复采集
2、删除“右上角旗帜”中的任务不会影响到“已采集数据》数据列表”里的内容,跳到之前已经删掉的采集数据那里继续采集是因为内容网址已经采集排重处理了,可以设置“任务》更多设置》不同任务采集同一网址”允许,重新采集内容网址

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(2)
PHP
1
https://gitee.com/zorlan/skycaiji.git
git@gitee.com:zorlan/skycaiji.git
zorlan
skycaiji
蓝天采集器

搜索帮助