Metrics
0
Watch 977 Star 2.6k Fork 1.1k

GVP黄亿华 / webmagicJavaApache-2.0

模拟登陆添加cookie不能使用

Open
xiamaoxuan  Created at
场景1:有个网站叫最成都,模拟登陆后,使用cookie 请求网站数据有效(0.5.3和0.7.2)
场景2:QQ空间,模拟登陆后使用Cookie请求数据 , 0.7.2版本请求数据失败,0.5.3版本请求数据成功,然后使用0.7.2的版本,重新构建一个跟0.5.3一模一样的HttpClientDownloader 请求数据成功
注:使用的都是 HttpClientDownloader 的  Page download(Request request, Task task) 这个方法,cookie的添加都是在实现Task接口的时候中的Site类中添加的
587106_xiamaoxuan total 2 participants

Comments (1)

王荣林 2017-07-16 17:18

webmagic3月份的提交 add response headers to Page #508中,把HttpUriRequestConverter类的convertHttpUriRequest方法中的CookieSpecs从BEST_MATCH改成了STANDARD,估计是因为BEST_MATCH已经deprecated
这个设置导致我遇到的一些网站cookie不兼容,我fork的版本自己改成了DEFAULT,目前没发现什么问题.

Sign in and comment

Assignee
Labels
Not set
Milestone
Branch
Scheduled start
Not set
Scheduled end
Not set
Top level
Priority

Help Search