60
Java Headless 浏览器 抓取页面
4 months ago 2 issues
5397123 g1879 1578986013
291
一个整合了selenium和requests_html的模块,封装了常用页面操作,可实现两种模式的无缝切换。兼顾selenium的易用性和requests的高性能,也可直接用于PO模式。
7 hours ago v1.9.0 updated on Feb 07
121703 javacoo 1578918498
202
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件,通过灵活的配置,可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站
5 months ago 2 issues
1880617 aoe5188 1586839688
165
foot是一个集足球数据采集器,简单分析的项目.AI足球球探为程序全自动处理,全程无人为参与干预足球分析足球预测程序.程序根据各大指数多维度数据,结合作者多年足球分析经验,精雕细琢,集天地之灵气,汲日月之精华,历时七七四十九天,经Bug九九八十一个,编码而成.有兴趣的朋友,可以关注一下公众号AI球探(微信号ai00268).
4 months ago
43
Distributed web crawler admin platform for spiders management regardless of languages and frameworks.
10 months ago
105007 yurunsoft 1578917691
55
基于 Swoole + imi 框架的新型冠状病毒肺炎疫情实时动态爬虫抓取项目,可查看各省市趋势图:https://test.yurunsoft.com/ncov/
1 year ago 1 issue
136
爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知
11 months ago
400404 zhiyubujian 1578922729
481
风铃虫是一款轻量级的高效爬虫工具,配置简单,方便二次开发,能抓取js渲染的网页,可以抓取任何数据,支持保存网页快照,智能防封杀,天然适合分布式。
5 months ago 增加附带数据功能 updated on Oct 09 1 issue
50
一个支持集群部署的分布式 DHT 网络爬虫
over 1 year ago
实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
4 days ago 2 issues
514
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
7 months ago 3 issues
291351 ssssssss team 1589614030
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
2 months ago 21 issues
1785190 lifanko 1578959795
182
酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐
4815103 songxf1024 1578974949
100
爬取微信公众号文章
over 1 year ago
4870333 golddata 1578976096
69
1、规则简洁灵活易读易写 2、可反复采集数据而不产生重复 3、可同时将数据及数据关系采集融合 4、支持ajax 5、文档和培训视频齐全 。其核心代码从GoldData平台分离而来
almost 2 years ago

Search