Score
0
Watch 46 Star 141 Fork 42

huanStephen / magnetJavaApache-2.0

Create your Gitee Account
Explore and code with more than 5 million developers,Free private repositories !:)
Sign up
三分钟快速搭建流式处理应用!简单实用的分布式大数据处理框架,特点是零基础操作,支持批处理和流式处理。 spread retract

Clone or download
README.md 5.49 KB
Copy Edit Web IDE Raw Blame History
huanStephen authored 2020-07-04 22:22 . update README.md.

Magnet

介绍

三分钟快速搭建流式处理应用!简单实用的分布式大数据处理框架,特点是零基础操作,支持批处理和流式处理。

star fork

软件架构

Magnet架构图 项目目前由core、xmlbuilder、jsonbuilder、spark1、spark2、flink1和client七个模块组成。

  • core模块封装了各个部分的抽象组件。
  • xmlbuilder和jsonbuilder模块是以xml或json解析为执行配置来源的读取模块。
  • spark1、spark2和flink1模块为大数据引擎模块,目前spark1模块开发比较完整,是基于spark1.6版本。
  • client模块是客户端调用模块。

Magnet提供统一的配置接口,只需要配置一次就可以在任何引擎上处理大数据,真正做到“ 一次编写,到处执行 ”的效果。项目具备优秀的可扩展性,设计良好的接口可以兼容任何大数据引擎。架构图中蓝色部分为框架的核心模块,非蓝色部分均为可扩展模块。你可以扩展配置文件的格式,可以是xml配置、json配置或自定义格式;你也可以扩展大数据处理引擎,Spark、Flink、Hive、Kafka或MapReduce;你也可以扩展各种标签组件;你还可以扩展每个标签组件的包装wrapper,用于处理每个标签组件的前置和后置操作。

使用说明

参与贡献

贡献者列表

项目演示

示例测试文件链接: https://pan.baidu.com/s/1HSQLHD5mzDhlDe4FgQamuw 提取码: e9ip

批处理示例:

批处理

流处理示例:

流处理

可视化配置示例:

可视化配置

加入我们

如果:

  • 你对Magnet感兴趣
  • 你有风骚的创意
  • 你对大数据技术有兴趣
  • 你想用Magnet解决工作中的问题,却发现Magnet解决不了
  • 你想加入Magnet认识更多帅哥
  • 未完待续...

你都可以加入我们Magnet社区,我们为你提供创造性的舞台接受你风骚的想法,或者解决实际工作中繁杂的任务。 加入我们

Comment ( 0 )

Sign in for post a comment

Java
1
https://gitee.com/huanStephen/magnet.git
git@gitee.com:huanStephen/magnet.git
huanStephen
magnet
magnet
master

Search

231008 48f1a665 1899542 231017 9a6720c6 1899542