# 数合治理平台

**Repository Path**: wangyx_137/jetty-server-2025

## Basic Information

- **Project Name**: 数合治理平台
- **Description**: 为政府、企业及科研机构提供数据全生命周期管理解决方案，覆盖数据探查、集成、建模、可视化到服务发布全流程，实现数据资产价值挖掘与应用闭环。
项目请看 http://www.hbshuhe.com/
- **Primary Language**: Java
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: http://www.hbshuhe.com/
- **GVP Project**: No

## Statistics

- **Stars**: 7
- **Forks**: 5
- **Created**: 2024-09-25
- **Last Updated**: 2026-04-29

## Categories & Tags

**Categories**: erp

**Tags**: 数据治理, 数据建模, 数据可视化, 知识图谱, 智能问数

## README

# 数据智能平台全产品矩阵方案

## 📌 方案概述

本方案整合六大核心产品模块，构建**“数据接入→数据治理→数据建模→智能问答→图谱分析→可视化呈现”**的全链路数据智能平台，为企业提供一站式数据资产管理及分析决策解决方案。

---

## 🎯 目标用户群体

| 用户类型 | 核心诉求 | 适用产品 |
|---------|---------|---------|
| 业务人员 | 零门槛数据分析，自助取数 | 智能问数、可视化大屏 |
| 数据分析师 | 快速建模，多维度分析 | 建模平台、可视化大屏、知识图谱 |
| 数据工程师 | 数据集成、治理、调度 | 数据集成、数据治理、建模平台 |
| 数据科学家 | 算法验证，特征工程 | 建模平台、知识图谱 |
| 管理层/决策者 | 全局洞察，数据决策 | 可视化大屏、知识图谱、数据治理 |
| 合规/安全人员 | 数据安全、审计、权限 | 数据治理、数据集成 |

---

## 🧩 产品矩阵总览

| 产品模块 | 核心定位 | 关键功能 | 用户价值 |
|---------|---------|---------|---------|
| **数据集成** | 多源数据接入与交换 | Excel/API/MQTT接入、数据对账、任务调度 | 提升接入效率80%，降低人工干预 |
| **数据治理** | 资产管理与质量管控 | 元数据管理、质量巡检、安全审计、权限管控 | 保障数据可信、合规、可控 |
| **智能建模** | 可视化数据建模与机器学习 | 拖拽算子、算法集成、实时预览、定时任务 | 开发效率提升5倍，零门槛建模 |
| **智能问数** | AI自然语言生成SQL | 语义解析、数据集配置、查询保存复用 | 查询效率提升10倍，人人可用 |
| **知识图谱** | 关联关系挖掘与分析 | 零代码构建图谱、G6可视化、Neo4j集成 | 发现隐性关联，辅助深度洞察 |
| **可视化大屏** | 拖拽式数据看板构建 | 20+组件库、智能图表、参数联动、服务管理 | 实时监控，辅助决策 |

---

## 🌟 核心功能亮点整合

### 1️⃣ **数据接入与集成**（数据集成）
- **多源接入**：支持MySQL、Oracle、Postgres等数据库全量/增量接入，以及Excel模板、API、MQTT等多种数据源。
- **智能对账**：源-目标数据比对，差异可视化。
- **任务调度**：定时执行、禁止时段、实时监控日志。
- **接收服务**：提供API服务接口，接收外部系统数据推送，并记录调用日志。

### 2️⃣ **数据治理与资产管理**（数据治理）
- **资产全景**：自动采集元数据，构建数据地图，支持版本管理。
- **质量管控**：预置规则模板，定时巡检，异常告警，并生成稽核报告。
- **安全审计**：全操作日志记录，PDF报告导出。
- **权限模型**：RBAC+数据权限隔离，分级分类管理，支持数据脱敏。

### 3️⃣ **可视化建模与机器学习**（建模平台）
- **拖拽式设计**：20+算子（源、清洗、关联、聚合、算法、输出）。
- **实时预览**：每一步结果可见，支持导出。
- **算法集成**：集成线性/逻辑回归、决策树、随机森林、K-Means、DBSCAN等主流机器学习算法。
- **定时更新**：模型自动化运行，结果表自动刷新。

### 4️⃣ **AI智能问答**（智能问数）
- **自然语言转SQL**：支持复杂查询、多表关联。
- **数据集配置**：三步完成数据模型构建。
- **查询管理**：多标签页、SQL手动编辑、结果保存复用。

### 5️⃣ **知识图谱构建与分析**（知识图谱）
- **零代码配置**：表→节点→关系，三步生成图谱。
- **可视化探索**：多布局切换、右键扩展、筛选搜索。
- **图数据库集成**：实时连接Neo4j，支持血缘分析。

### 6️⃣ **可视化大屏构建**（可视化）
- **组件丰富**：图表、表格、参数、装饰20+组件。
- **智能联动**：参数与图表实时联动，钻取跳转。
- **服务管理**：API注册、审批、发布、日志追踪。
- **主题切换**：一键换肤，适配不同场景。

---

## 🔗 产品协同价值

| 业务流程 | 使用产品组合 | 价值体现 |
|---------|-------------|---------|
| **数据接入→治理→建模** | 数据集成 + 数据治理 + 建模平台 | 形成数据开发治理一体化流水线 |
| **建模→智能问答** | 建模平台 + 智能问数 | 模型结果直接用于AI问答，加速分析 |
| **治理→图谱→可视化** | 数据治理 + 知识图谱 + 可视化大屏 | 从资产梳理到关联分析再到决策呈现 |
| **集成→服务→大屏** | 数据集成 + 可视化大屏（服务管理） | 数据即服务，实时监控大屏 |

---

## 📈 典型应用场景全解

### 场景一：企业级数据底座建设
**痛点**：数据分散、标准不一、质量难控  
**方案**：数据集成（接入） + 数据治理（标准+质量） + 建模平台（清洗）  
**收益**：统一数据底座，数据可信可用

### 场景二：业务自助分析与决策
**痛点**：IT响应慢，业务取数难  
**方案**：智能问数（自然语言查询） + 可视化大屏（自助看板）  
**收益**：业务人员自主分析，决策效率提升

### 场景三：关联关系深度挖掘
**痛点**：数据孤岛，隐性关联难发现  
**方案**：知识图谱（构建+探索） + 可视化大屏（关联呈现）  
**收益**：发现业务新洞察，支撑精准营销/风控

### 场景四：实时数据监控与预警
**痛点**：系统状态不可见，异常响应慢  
**方案**：数据集成（MQTT接入） + 可视化大屏（实时看板） + 治理（质量告警）  
**收益**：实时监控，异常秒级响应

### 场景五：机器学习建模全流程
**痛点**：编码门槛高，特征工程繁琐  
**方案**：建模平台（算子+算法） + 智能问数（结果查询） + 可视化（模型效果展示）  
**收益**：零门槛建模，快速验证迭代

---

## 💪 技术优势整合

- **前端**：React + TypeScript + Ant Design + ProComponents
- **可视化引擎**：（流程图）、（图谱）、（表格）
- **后端**：Spring Boot / FastAPI，支持多数据源（MySQL、Oracle、GBase、Neo4j、Weaviate）
- **AI能力**：DeepSeek大模型、RAG检索增强、向量检索
- **部署**：支持私有化、混合云、SaaS多模式
- **安全**：RBAC权限、操作审计、数据加密

---

## 🎁 用户收益全景图

| 角色 | 收益点 |
|------|-------|
| **业务人员** | 自然语言取数，拖拽建看板，零门槛洞察数据 |
| **数据分析师** | 可视化建模，快速验证，多工具协同分析 |
| **数据工程师** | 统一平台开发治理，减少编码，提升效率 |
| **数据科学家** | 算法组件化，快速原型，特征工程可视化 |
| **IT管理者** | 资产清晰，质量可控，安全合规，降本增效 |
| **企业决策者** | 实时数据决策，全局可视化，数据驱动增长 |

---

## 📚 平台功能全景清单

### 1. 数据标准
- **数据源管理**：管理数据接入所需的各类数据源（如MySQL, Oracle, Postgres等）的连接信息，支持新增、编辑、删除和连接测试。
- **标签管理**：对数据表和元数据进行业务标签的定义、编辑和删除，便于数据分类和检索。
- **元数据采集**：创建和管理元数据采集任务，从已配置的数据源中自动采集表结构和字段信息。
- **元数据打标**：对已采集的元数据（如表、字段）进行业务标签的添加、修改或批量操作。
- **元数据检索**：通过表名、字段名、描述等关键字，检索已采集的元数据信息。
- **元数据版本**：管理和查看元数据的历史版本，对比不同版本间的结构变更和标签变更。
- **字典管理**：管理系统中的字典数据，如任务状态、规则类型等，支持新增、编辑和删除字典项。
- **分类管理**：对数据资产进行分类目录的创建、编辑和删除，以便将数据表归类管理。
- **分级管理**：对数据表进行安全级别（如一级、二级）的定义和管理，并可将数据表与分级关联。
- **主数据管理**：定义和管理主数据的数据域，并维护主数据实体及其关联的数据表。
- **质量指标管理**：定义和管理数据质量稽核规则，包括规则类型、检查字段、阈值等。
- **质量指标查询**：查询已定义的数据质量规则列表。
- **质量稽核结果**：查看数据质量规则的执行日志，包括执行时间、状态、质量得分及错误详情。
- **脱敏规则**：定义数据脱敏规则（如正则替换、常量替换），并应用于数据表的指定字段。

### 2. 数据集成
- **表目录**：管理原始数据表的目录结构，支持目录的新增、编辑和删除。
- **表接入**：将数据源（非接口类型）的表通过创建接入任务，将数据同步到平台的原始层。
- **API接入**：管理和配置第三方API作为数据源，支持API的测试、任务的创建和执行。
- **模板管理**：管理和配置Excel数据导入模板，定义模板与数据表的映射关系。
- **模板接入**：使用已配置的模板，将Excel文件数据导入到平台表中。
- **EXECL接入**：管理通过Excel文件导入生成的表，支持重新上传Excel文件覆盖或追加数据。
- **接入中心**：管理和监控所有数据接入任务（包括表和API），支持任务的启停、立即执行和日志查看。
- **推送中心**：管理和监控所有数据推送任务，支持任务的启停、立即执行和日志查看。
- **表管理**：管理原始数据表，支持查看表数据、编辑表结构、删除表以及生成接入/推送任务。
- **表审核**：对申请发布（共享）的原始数据表进行审核，支持通过或驳回申请。
- **表推送**：将平台内部表通过创建推送任务，将数据同步到外部数据源。
- **MQTT主题配置**：管理和测试MQTT数据源的连接，并为主题配置订阅信息。
- **MQTT推送配置**：管理和配置MQTT消息的发布任务，包括目标主题、数据表映射等。
- **MQTT接入日志**：查询MQTT消息的采集日志，包括采集时间、数据条数和执行结果。
- **MQTT推送日志**：查询MQTT消息的推送日志，包括推送批次、状态和异常信息。
- **接收服务管理**：管理用于接收外部系统数据推送的服务接口，包括服务注册、启停和删除。
- **接收服务日志**：查询接收服务的调用日志，包括请求/响应时间、状态和详情。

### 3. 数据建模
- **模型列表**：查看和管理所有数据模型，支持新建、编辑、复制、共享和删除模型。
- **我的目录**：管理个人模型目录结构，支持目录的新增、编辑和删除。
- **我的数据**：管理建模过程中产生的自有数据表，支持查看数据和编辑表结构。
- **我的任务**：查看和管理由模型生成的周期性任务，支持任务的启停、立即执行和日志查看。
- **共享目录**：管理共享模型目录结构。
- **共享审批**：审批其他用户提交的模型共享申请。
- **函数管理**：管理系统内置或用户自定义的函数，用于在模型算子（如新增列）中使用。
- **模型算子**：提供丰富的拖拽式算子，包括：
    - **关联、输出、过滤、分组、并集、去重、排序、行转列**
    - **字符串处理**：截取、替换、拼接
    - **类型转换**
    - **新增列**（支持函数与表达式）
    - **机器学习算法**：线性回归、逻辑回归、支撑向量机、决策树分类器、随机森林、线性支持向量分类、核方法支持向量分类、K均值、层次聚类、DBSCAN

### 4. 数据应用
#### 知识图谱
- **图谱配置**：将关系型数据库中的表，通过节点和关系的配置，转换为图谱数据并导出到图数据库。
- **图谱编辑**：在图谱中查看和分析数据，支持对图谱中的节点和关系进行编辑（如删除）。
- **图谱分析**：加载和查看已保存的图谱视图，支持图探索、筛选和节点详情查看。
- **图谱任务**：管理和监控图谱数据的周期性同步任务。

#### 智能问数
- **问数管理**：管理用于自然语言生成SQL的数据集，包括数据集的创建（选择表、配置关系）和发布。
- **AI 问数**：基于已配置的数据集，使用自然语言提问，系统生成SQL并返回查询结果。
- **问数任务**：管理和监控AI问数生成的数据表的周期性更新任务。

#### 可视化大屏
- **可视化组件**：创建和管理可视化组件，支持表格、折线图、面积图、柱状图、条形图、饼图、散点图、仪表盘、统计卡片、迷你图表等多种类型。
- **可视化组合**：创建和管理可视化看板，通过拖拽方式组合各种可视化组件和参数控件（文本框、下拉框、按钮、标签、图片等）。
- **发布审批**：审批用户提交的可视化组件或看板的发布申请。
- **我的/共享目录**：管理个人和共享的可视化资源目录。

### 5. 数据服务
- **数据资产**：查看数据资产目录，包括数据表及其更新情况。
- **血缘关系**：以图谱形式展示数据表之间的血缘依赖关系。
- **接口发布**：将平台内的数据表申请发布为API接口，供外部系统调用。
- **服务目录**：浏览和申请使用已发布（审批通过）的数据服务（API）。
- **我的申请**：查看个人提交的数据服务（API）申请记录及审批状态。
- **接口/服务审批**：审批用户提交的接口发布申请和服务使用申请。
- **服务日志**：查询数据服务（API）的调用日志。

### 6. 知识与考核
- **知识构建**：管理和上传学习资料（如PDF、Word、视频），并可对资料进行向量化处理，构建知识库。
- **AI知识库**：基于向量化后的知识库进行智能问答。
- **考核管理**：管理考核期、为学生打分，并统计分析考核成绩。

### 7. 平台管理
- **部门管理**：管理组织架构中的部门信息。
- **用户管理**：管理系统用户，包括新增、编辑、删除用户、重置密码和分配角色。
- **菜单管理**：管理系统导航菜单。
- **角色管理**：管理系统角色，为角色分配菜单权限、数据权限和所属部门。
- **限制管理**：配置各用户创建表数量、保存行数等资源限制。
- **访问日志**：查询模型执行日志和功能操作日志。
- **日志审计**：对用户操作日志进行安全审计，支持按级别、来源等条件筛选并导出审计报告。
- **系统消息**：查看和处理系统消息，如密码找回、新用户注册申请等。
- **参数管理**：管理系统的全局参数配置。
- **登录/导航/主题/帮助**：提供登录、主页面导航、主题切换及帮助文档等基础功能。

---

## 安装教程

1.  安装元数据库，支持mysql 8；建立my_sjzl_2025数据库，采用utf8编码，导入数据库脚本\src\main\resources\my_sjzl_2025.sql；
2.  安装生产数据库，支持mysql8 和 postgresql 10。建立self_owned和original两个库，采用utf8编码。
3.  打开工程，通过maven下载三方类包，配置Java8, 配置db-dev.properties文件，启动\src\java\com\shuhe\JettyServer.java
4.  浏览器访问 http://localhost:12580/pages/mxgc/
5.  登录账号：ry，密码：123456
6.  图谱功能依托neo4j库

#### 使用说明
详见 http://www.hbshuhe.com/

---

**让数据全链路智能，让决策更精准高效！**