117 Star 565 Fork 196

zorlan / 蓝天采集器

 / 详情

采集列表页遇到403、404等情况会反复抓取,没有加入已采集列表

Backlog
Opened this issue  
2022-03-11 10:13

当采集的列表页存在403、404等链接时,并没有加入已采集列表,采集器每次都会重新反复尝试抓取,影响采集效率,建议将这些链接也加入已采集列表(标记为采集失败状态),避免反复尝试。

Comments (0)

rewalax created任务

Sign in to comment

Status
Assignees
Milestones
Pull Requests
Successfully merging a pull request will close this issue.
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(1)
PHP
1
https://gitee.com/zorlan/skycaiji.git
git@gitee.com:zorlan/skycaiji.git
zorlan
skycaiji
蓝天采集器

Search

101014 b92fc32e 1850385 101014 af024cb7 1850385