Metrics
0
Watch 977 Star 2.6k Fork 1.1k

GVP黄亿华 / webmagicJavaApache-2.0

如果在运行过程中监控cookie过期并及时切换cookie?

Open
JungleKing  Created at

如题?有大佬们有想法么?卡住了这块

91333_jungleking total 2 participants

Comments (1)

czs208112 2018-09-19 16:44

最近写的爬虫刚好涉及到了这一块,cookie过期后就模拟登陆一次获取cookies,cookies已经获取到了,但是由于使用了FileCacheQueueScheduler,cursor增长了,但是url没有,导致爬虫停止,一步一个坑啊。。

Sign in and comment

Assignee
Labels
Not set
Milestone
Branch
Scheduled start
Not set
Scheduled end
Not set
Top level
Priority

Help Search