Score
0
Watch 38 Star 120 Fork 37

huanStephen / magnetJavaApache-2.0

Join us
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
三分钟快速搭建流式处理应用!简单实用的分布式大数据处理框架,特点是零基础操作,支持批处理和流式处理。 spread retract

Clone or download
Cancel
Notice: Creating folder will generate an empty file .keep, because not support in Git
Loading...
README.md

Magnet

介绍

三分钟快速搭建流式处理应用!简单实用的分布式大数据处理框架,特点是零基础操作,支持批处理和流式处理。

star fork 创玩大数据

软件架构

Magnet架构图 项目目前由core、xmlbuilder、spark1和client四个模块组成,core模块封装了各个部分的抽象组件;xmlbuilder模块是以xml解析为执行配置来源的读取模块;spark1模块为大数据引擎模块;client模块是客户端调用模块。项目可以扩展执行配置的解析方式和大数据处理引擎,良好的接口可以兼容任何大数据引擎。架构图中蓝色部分为框架的核心模块,非蓝色部分均为可扩展模块。你可以扩展配置文件的格式,可以是json配置、db配置或自定义格式;你也可以扩展大数据处理引擎,Flink、Hive、Kafka或MapReduce;你也可以扩展各种标签组件;你还可以扩展每个标签组件的包装wrapper,用于处理每个标签组件的前置和后置操作。

使用说明

参与贡献

贡献者列表

项目演示

示例测试文件链接: https://pan.baidu.com/s/1HSQLHD5mzDhlDe4FgQamuw 提取码: e9ip

批处理示例:

批处理

流处理示例:

流处理

Comments ( 17 )

Sign in for post a comment

Java
1
https://gitee.com/huanStephen/magnet.git
git@gitee.com:huanStephen/magnet.git
huanStephen
magnet
magnet
master

Help Search

205735 778617b6 1899542 205747 347fc4a1 1899542