Vip_title

GVP (Gitee Most Valuable Projects) - 码云最有价值开源项目计划

是码云综合评定出的优秀开源项目的展示平台

加入GVP计划

WePush

Java
专注批量推送的小而美的工具。目前支持的类型:模板消息-公众号、模板消息-小程序、微信客服消息、阿里云短信、阿里大于模板短信 、腾讯云短信、云片网短信。

koalas-rpc

Java
企业生产级百亿日PV高可用可拓展的RPC框架。理论上并发数量接近服务器带宽,客户端采用thrift协议,服务端支持netty和thrift的TThreadedSelectorServer半同步半异步线程模型,支持动态扩容,服务上下线,权重动态,可用性配置,泛化调用,页面流量统计,泛化调用等,支持trace跟踪等,天然接入cat支持数据大盘展示等,持续为个人以及中小型公司提供可靠的RPC框架技术方案
使用 HTML 5 + jQuery + Bootstrap 4.1 + .Net Core 2.2 + PetaPoco 构建的后台管理框架,权限管理,支持多站点单点登录
微信公众号和小程序商城数据同步,带积分、优惠券、秒杀、砍价、分销等功能,前后端全部开源,更是一套方便二次开发的框架
AutoLoadCache 是基于AOP+Annotation等技术实现的高效的缓存管理解决方案,实现缓存与业务逻辑的解耦,并增加异步刷新及“拿来主义机制”,以适应高并发环境下的使用。

HP-Socket

C++
High Performance TCP/UDP/HTTP Network Component
查看全部GVP项目
117_l-weiwei
强力 Java 爬虫,列表分页、详细页分页、ajax、微内核高扩展、配置灵活
Java Web爬虫
11 months ago
471_flashsword20

黄亿华/webmagic

GVP
webmagic 是一个无须配置、便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代码即可实现一个爬虫。
Java Web爬虫 Apache-2.0
over 1 year ago
329436_xiyoumc
全球最大成人网站PornHub爬虫 (Scrapy、MongoDB) 一天500w的数据
Python Web爬虫 MIT
over 1 year ago
117_l-weiwei

自风/Spiderman2

GVP
二代蜘蛛侠,此版本完全重新开发,比上一代更加强大(性能,易用,架构,分布式,简洁,成熟)
Java Web爬虫 Apache-2.0
6 months ago
666978_xtuhcy

xtuhcy/Gecco

GVP
Gecco 是一款用java语言开发的轻量化的易用的网络爬虫,整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。
Java Web爬虫 MIT
1 day ago
429922_mail_osc
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
Java Web爬虫 Apache-2.0
6 months ago
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
Java Web爬虫 LGPL-3.0
4 months ago
13016_dreamidea
牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
NodeJS Web爬虫 BSD-3-Clause
almost 2 years ago
49322435918264
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
Java Web爬虫
5 months ago
365569_jiangwl
多线程知乎用户爬虫,基于python3
Python Web爬虫
over 1 year ago
357525_zongtui
基于hadoop思维的分布式网络爬虫。
Java Web爬虫 MIT
almost 3 years ago
1200611_coodyer
一款URL网址采集工具。支持自定义采集规则以适配不同搜索引擎
C# Web爬虫
7 months ago
zhihu-crawler是一个基于Java的爬虫实战项目,主要功能是抓取知乎用户的基本资料。
Java Web爬虫 Apache-2.0
3 months ago
通过一个实际的项目,来学习如何使用scrapy爬取网络上的信息。这里以豆瓣小组为例,对组内的图片进行爬取,相关信息保存数据到MongoDB,图片下载到本地。
Python Web爬虫 MIT
9 months ago
550473_ecitlm
基于nodejs 的爬虫 API接口项目,包括前端开发日报、知乎日报、前端top框架排行、妹纸福利、搞笑视频、各类视频新闻资讯 热点详情接口数据
NodeJS Web爬虫 GPL-2.0
about 1 year ago
1033170_resolvewang
分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身,正在快速迭代。如果觉得有帮助,不妨到github上给我点个star,osc上可能不会再继续更新了
Python Web爬虫 MIT
over 1 year ago
A java crawler for infomation collection.
Java Web爬虫 GPL-3.0
10 months ago
一款分布式爬虫平台,帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则(模版),可使用模版快速定义爬虫,也可当作框架手动开发爬虫
Go Web爬虫
over 1 year ago
204037726835871
用JavaFX开发基于crawler4j的图形化的网络爬虫
Java Web爬虫 MIT
7 months ago
微信公众号文章-无限制抓取
Python Web爬虫
3 months ago
378604_xuxueli0323
一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性;
Java Web爬虫 GPL-3.0
7 months ago
454392_virjar
适合抓取封堵的爬虫框架
Java Web爬虫 Apache-2.0
3 months ago
92024_kidd_yu
Beanbun 是用 PHP 编写的多进程网络爬虫框架,支持分布式,具有良好的开放性、高可扩展性,基于 Workerman。
PHP Web爬虫 MIT
7 months ago
21346_smiledog
一个基于Spring+SpringMVC+Mybatis+webmagic+extjs开发的段子图片抓取平台
Java Web爬虫 Apache-2.0
over 3 years ago
蓝天采集器是一款免费的数据采集发布爬虫软件,采用php+mysql开发,可部署在云服务器,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是大数据、云时代网站数据自动化采集的最佳云端爬虫软件
PHP Web爬虫
2 months ago

AbaSun/JeeSpringCloud

基于SpringBoot2.0的后台权限管理系统界面简洁美观敏捷开发系统架构。核心技术采用Spring、MyBatis、Sh...

sunkaixuan/SqlSugar

.NET SqlSugar ORM 5.0版本

新德汇/xdh-form-builder

基于vue+element的在线拖拽生成表单页面,支持属性设置实时响应

小风code/SkyGameEngine2d

基于Directx11的2D游戏引擎 , 一款适合游戏开发入门学习的引擎

robergroup/pdman

PDMan是一款开源免费的数据库模型建模工具,支持Windows,Mac,Linux等操作系统,是PowerDesigner...

众邦科技/CRMEB打通版

微信公众号和小程序商城数据同步,带积分、优惠券、秒杀、砍价、分销等功能,前后端全部开源,更是一套方便二次开发的框架

sjqzhang/go-fastdfs

A simple fast, easy use distributed file system written by gol...

大牛学院/X-admin

X-admin经典前端后台管理模板

The Sun/Cloud-Platform

Cloud-Platform是国内首个基于Spring Cloud微服务化开发平台,具有统一授权、认证后台管理系统,其中包含...

新德汇/xdh-form-builder

基于vue+element的在线拖拽生成表单页面,支持属性设置实时响应

众邦科技/CRMEB打通版

微信公众号和小程序商城数据同步,带积分、优惠券、秒杀、砍价、分销等功能,前后端全部开源,更是一套方便二次开发的框架

大漠穷秋/NiceFish

NiceFish(美人鱼) 是一个系列项目,目标是示范前后端分离的开发模式:前端浏览器、移动端、Electron 环境中的各...

robergroup/pdman

PDMan是一款开源免费的数据库模型建模工具,支持Windows,Mac,Linux等操作系统,是PowerDesigner...

IoTSharp/IoTSharp

IoTSharp 是一个 基于.Net Core 开源的物联网基础平台, 支持 HTTP、MQTT 协议, 属性数据和遥测数...

xuexiangjys/XHttp2

一个功能强悍的网络请求库,使用RxJava2 + Retrofit2 + OKHttp组合进行封装。

大牛学院/X-admin

X-admin经典前端后台管理模板

Help Search