# ETL数据抽取平台

**Repository Path**: liujl1990/etl-platform

## Basic Information

- **Project Name**: ETL数据抽取平台
- **Description**: 基于springboot+springbatch实现的ETL链式数据抽取平台，相比kettle,datax等工具，springbatch具有更强的塑造性，外加链式的执行，为数据中台从ods->dw->dm->app的数据流转提供了很大的方便。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 196
- **Forks**: 84
- **Created**: 2021-05-27
- **Last Updated**: 2025-08-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#### 平台介绍
该开源系统为百数通医疗科技有限公司分享的数据抽取平台。主要适用于个性化要求较高的链式抽取，适合作为初级数据中台使用。目前仅开源ods,dw两层，大家可以根据自身需要参照原有样例做个性化改造。本项目为基于java数据抽取的系列化数据处理平台，不同系列采用不同的技术框架。 建议开发或使用数据平台前，先深度学习doris数据库。百数通数据架构图，仅供参考。
![输入图片说明](https://foruda.gitee.com/images/1691838865303259257/cdbb9dc1_1640027.png "屏幕截图")

#### 系列介绍
### 详细可转至CSDN: https://mp.csdn.net/mp_blog/creation/editor/148998684

**系列一：基于springboot2.x+springbatch的ETL数据处理** 
     
- 优点是上手简单，数据流程严谨；缺点是效率不高，适合数据量不大的场景。
- https://gitee.com/liujl1990/etl-platform

 **系列二：基于springboot2.x+datax+insert-select/stream-load/spark的数据抽取** 
     
- 优点是效率高，充分考虑了各层数仓的特殊性采用不同技术方案；缺点是涉及框架多，对新手具有较强挑战性。
- https://gitee.com/liujl1990/data-platform-2.0

 **系列三：springboot3.x+nacos+dubbo的微服务版组件化数据处理** 
     
- 优点是将ETL数据提取、数仓查询、客户端业务组装分开部署，互不影响，可以更大程度兼顾数据提取与数据查询的效率，更好的使用数据仓库，更快速的推进项目交付。
- https://gitee.com/liujl1990/data-platform-3.0

**系列四：AI智能版集成式数据处理** 
- 整体方案同方案三一致，seatunnel替代datax，基于seatunnel-mcp实现AI智能调度
- https://gitee.com/liujl1990/seatunnel-web-ex
#### 启动说明
1）安装mysql数据库，模块下找到sql/bst_openetl.sql并执行
2）启动bst-etl模块下的BstEtlApplication.java文件
3）访问http://127.0.0.1:9000/login,admin/123456登录即可
4）抽取流程参考sql/抽取实例测试文件
5）首页对核心功能有相应介绍，能满足基础抽取。dm层、自助查询、敏捷报表暂未开放，评估中，请稍等待，后期有相关通用需求可留言。
#### 其他数据处理方案
#### 参考贡献
    感谢若依框架开源者，前段皮肤借用了若依的框架
    若依开源框架 https://gitee.com/y_project/RuoYi?_from=gitee_search
    bootstrap前段框架：https://v4.bootcss.com/docs/getting-started/introduction/

#### 完整版方案内容

- 数仓标准接口封装
- 数据标准接口加密发布（含监控，供应第三方）
- 基于echar的自研报表模板
- 基于easy excel的大数据导出
- 流程闭环管理（替代了原有数据权限申请）
- 查询监控（超过1分钟的访问记录日志）
- 数据智能核对
- 数据资产概览
- 行业规则等等
- 一步助力您成为行业数据强者
#### 联系我们
    本项目QQ讨论群：387738577，都是开源框架，详细结构可看相关文档，卡住的地方可发群里，平时上班，下班看到会回复的。
    商务合作：
        仅开源数据提取方案，数据利用方案为公司核心未做开源，最简单的才用库查询及echars接收也能实现，需要商用微信沟通。
        1）定制各类数据处理方案，费用根据需求协商，可加微bstyl_( **非商业性合作勿加个人微信** ，可QQ群沟通)
        2）想进入医疗行业的，直接提供产品及培训方案。
        3) 承接各类app、海报、后台管理等的开发设计
        4）一对一辅助培训讲解加微，300一小时，年包1999。