Web爬虫 - Open Source

ssssssss-team/spider-flow

Java Web Sipder MIT

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

1 month ago 18 issues

xtuhcy/Gecco

Java Web Sipder MIT

Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。

7 months ago 6 issues

AJay13/ECommerceCrawlers

Python Web Sipder MIT

实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:

2 months ago 2 issues

cloudskyme/zongtui-webcrawler

Java Web Sipder MIT

基于hadoop思维的分布式网络爬虫。

over 4 years ago

DTC2/ECommerceCrawlers

Python Web Sipder MIT

实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、闲鱼、阿里任务、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家️️️

2 months ago

mktime/scrapy-douban-group

Python Web Sipder MIT

通过一个实际的项目，来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例，对组内的图片进行爬取，相关信息保存数据到MongoDB，图片下载到本地。

over 1 year ago

resolvewang/WeiboSpider

Python Web Sipder MIT

分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身，正在快速迭代。如果觉得有帮助，不妨到github上给我点个star，osc上可能不会再继续更新了

over 3 years ago

code4everything/visual-spider

Java Web Sipder MIT

用JavaFX开发基于crawler4j的图形化的网络爬虫

2 years ago 新增自定义 updated on Apr 17

Kiddyu/Beanbun

PHP Web Sipder MIT

Beanbun 是用 PHP 编写的多进程网络爬虫框架，支持分布式，具有良好的开放性、高可扩展性，基于 Workerman。

2 years ago

yadong.zhang/blog-hunter

Java Web Sipder MIT

博客猎手，基于webMagic的博客爬取工具，支持慕课、csdn、iteye、cnblogs、掘金和V2EX等各大主流博客平台。博客千万篇，版权第一条。狩猎不规范，亲人两行泪。

2 months ago v1.0.1 updated on Mar 11 1 issue

lifankohome/music-spider

PHP Multimedia Web Sipder MIT

酷狗 + QQ + 百度 + 虾米 + 网易 = 橡皮音乐

2 months ago （全新改版，焕新界面）- 橡皮音乐 updated on Jul 19

qclang/foot

Go Web Sipder MIT

foot是一个集足球数据采集器,简单分析的项目.AI足球球探为程序全自动处理,全程无人为参与干预足球分析足球预测程序.程序根据各大指数多维度数据,结合作者多年足球分析经验,精雕细琢,集天地之灵气,汲日月之精华,历时七七四十九天,经Bug九九八十一个,编码而成.有兴趣的朋友,可以关注一下公众号AI球探(微信号ai00268).

3 months ago

烈冰/go_sexy

Go Web Sipder MIT

Go语言版本妹子图抓取爬虫，项目里用到很多go的语言特性。正所谓寄学习于娱乐，欣赏妹子的同时还可以学到东西，欢迎大家评鉴

2 years ago 2 issues

cnjack/novel-spider

Go Web Sipder MIT

曾经一度痴迷于看小说，小说给了我第二个世界，脱离于现实生活的世界。虽然因为看小说耽误了很多光阴，但是它也给我带来了很多的快乐，伴随主人公的开心而开心，伴随主人公的伤心而伤心。

5 months ago

shengqiangzhang/examples-of-web-crawlers

Python Web Sipder MIT

一些有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。

3 months ago 1 issue

Hardware	IoT/Edge Computing
Car Application	Smart Home
Autopilot	Robots
5G

Chinese/English Segmenter	Payment Dev	Security Dev	Common Toolkit
Excel Toolkit	Barcode/QRCode	Template Engine	Desktop UI Component/Framework
Network Development Package	Audio Process	Network Tool	Network Service
Data Mining	Job/Task Scheduling	Programming Language/Scripting Language	Cache Component
Markdown Tools	Search Engine	Microservice	Workflow
Chart/Diagram Component	Authority Management	Reporting Tool	Code Generator
IoC/AOP Framework	Image Library	Rule Engine	JSON Toolkit
Log Toolkit	Spring Boot Extension	Verification Code	Algorithm/Mathematical Calculation
Node Extension	Process Engine	Animation Development	3G/4G/5G

Artificial Intelligence	VR/AR
Machine Learning/Deep Learning	Computer Vision/Face Recognition
Natural Language Processing

Wechat Development Package	WeChat Applet/Game
WeChat Application	WeChat Game

GIS/Map/Navigation/Positioning	Task/Project Management
Enterprise Application System	Business Intelligence
Financial/Stock Securities

Search