# DataPort

**Repository Path**: lohool/data-port

## Basic Information

- **Project Name**: DataPort
- **Description**: 综合数据处理系统，同时支持Kettle脚本和自研数据处理脚本
- **Primary Language**: Java
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 1
- **Created**: 2025-02-25
- **Last Updated**: 2025-07-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README


本项目为数据处理、定时任务、图表集成、大屏设计、数据发布等综合数据管理系统 , 项目参考了Kettle软件，因此除本身的处理能力外，还支持Kettle转换和作业。
后端项目支持转换的RESTFUL API接口调用执行并返回结果集，DataPort转换支持java代码集成调用执行。
项目现为初研开发阶段，还有BUG修正、性能优化等较多未完成功能。

### 数据处理引擎：



1. DataPort(DPT)部分为全新自研开发数据处理引擎，目前在全力开发中。
1. 集成并支持Kettle 8.3(KTL)引擎，目前可视化编辑仅支持部分转换步骤（不支持编辑的步骤也不影响转换的正常执行）。


### 项目框架：

1.因Kettle引擎暂无Maven等资源库，后端暂使用SpringMVC框架
2.前端采用Jquery框架，图形编辑器使用JointJS
3.项目本身无数据库，数据均以XML、JSON等文本文件存贮;用户管理使用系统自带的小型文件数据库，无需额外安装数据库

### 适用性/性能：


1. Kettle转换适用于大批量数据处理，小数据量处理性能不佳，特别是数据API接口，过于频繁调用可能会引发内存等性能问题。
1. DataPort转换适用于小数据量处理，因不需要启动重量级的类Kettle引擎，性能较好，数据API推荐使用此类转换；大批量数据未经过严密测试，是否有隐含问题暂未知。


### Kettle 支持：

1. 可管理和运行常规Kettle转换(KTL Trans)，作业(KTL job)管理和运行支持规划中。
1. 可在线编辑部分转换步骤，所支持的可编辑步骤已列在编辑器步骤列表中；其他非可线编辑步骤现仅支持显示和运行。
1. 数据库JDBC包已默认加入MySql、Oracle、PostgreSql,其他数据库JDBC包如有需要，可自行加入。
1. 未加入所有Kettle插件包，如有需要，可自行加入。
1. 离线编辑的Kettle脚本可直接按目录结构放在转换主目录"/repo/"下即可直接纳入在线管理

### DataPort支持

1. 数据库源配置支持使用Kettle数据库源
1. DBMS支持MySql、Oracle、PostgreSql、达梦数据库（Kettle脚本中不支持达梦数据库）
1. NoSql支持MongoDB、HBase、Hive2/3
1. 部分步骤支持流式数据处理
1. 离线编辑的脚本可直接按目录结构放在转换主目录"/dtrepo/"下即可直接纳入在线管理

### 功能：

1. 数据源管理：管理关系型数据库源
2. 数据库管理：可在线编辑数据库表结构和表数据
3. Kettle脚本管理：可在线创建和编辑Kettle脚本
4. DataHarbour脚本管理：可在线创建和编辑DataHarbour脚本
5. 定时任务：可把Kettle和DataHarbour转换配置为定时任务，系统按配置定时执行
6. 图表：支持把kettle转换和DataHarbour转换的数据处理结果生成图表。
	支持：饼图、柱状图、拆线图、雷达图、散点图、执行图、百度地图、自定义地图、行政区划图等
7. 数据表格：支持把kettle转换和DataHarbour转换的数据处理结果显示为在线表格，并可下载导出该数据
8. 大屏设计：支持把图表、表格等集成设计为大屏页面，大屏支持单独页面运行。
9. 集群：支持多服务器形成集群，分散运行定时任务，定时任务在集群中自动平均分配
10. 在线日志：支持在线查看kettle转换和DataHarbour转换的运行日志
11. 日志提醒：支持把kettle转换和DataHarbour转换运行结果（成功和失败）汇集为提醒消息，发往钉钉群、短信、邮件
12. 资源文件上传：上传转换中需要的数据资源文件，如excel、json、csv等文件
13. 数据发布：kettle转换和DataHarbour转换运行结果提供向外的HTTP API接口，外部系统可调用此接口获取转的确处理数据；
	     外部系统也可使用此接口主动执行一个转换。

### 安装:

1. 系统部署在tomcat等web容器中运行
2. 建立并指定转换资源目录
  资源目录为独立于项目外的单独磁盘目录，包含数据源、转换、定时任务等各种配置文件以及数据文件目录
3. Kettle 8.3核心引擎已引入项目，无需额外安装kettle软件
4. 配置完成后直接启动web窗口即可以使用