10 Star 16 Fork 4

FireDog / MuChongSpider

Create your Gitee Account
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
Clone or download
Cancel
Notice: Creating folder will generate an empty file .keep, because not support in Git
Loading...
README.md

MuChongSpider

WebMagic实现的爬虫,使用selenium自动登录小木虫论坛,并破解简单的计算验证,可使用mysql存储爬取到的用户个人信息(因为该网站反爬比较变态,在不适用代理的情况下,一天只能爬取1w左右的用户)。

Comments ( 3 )

Sign in for post a comment

About

WebMagic实现的爬虫,使用selenium自动登录小木虫论坛,并破解简单的计算验证,可使用mysql存储爬取到的用户个人信息。不用代理一天可以爬取该网站1万个用户,使用代理可以一天爬取800万个用户信息。 spread retract
Java
Apache-2.0
Cancel

Releases

No release

Contributors

All

Activities

load more
can not load any more
Java
1
https://gitee.com/WuSuoWeiYouWuSuoWeiWu/MuChongSpider.git
git@gitee.com:WuSuoWeiYouWuSuoWeiWu/MuChongSpider.git
WuSuoWeiYouWuSuoWeiWu
MuChongSpider
MuChongSpider
master

Search

152606 8668e384 1899542 133635 2cd7d36e 1899542