qData 标签 - Gitee.com

v1.3.0

77c45b6

2026-04-27 18:22

下载查看发行版

v1.2.0

b7dda96

2026-03-29 12:06

下载查看发行版

v1.1.2

805c64a

2026-02-02 09:50

下载查看发行版

v1.1.1

# 🚀 qData v1.1.1 更新公告

本次更新，主要包含以下改进：

* **核心优化**：增量同步机制升级为“动态游标”模式，大幅降低重复查询与数据搬运成本。
* **新源支持**：新增对 SQL Server 2008 的支持（覆盖连接、查询及部分集成任务）。
* **流程规范**：统一 Issue 提交流程模板，提升沟通协作效率。
* **问题修复**：修复社区反馈的已知 Bug。

---

## ✨ 主要更新内容

## 1. 动态游标增量同步机制

为减少增量同步任务在重复执行时对历史数据的重复扫描，本版本对增量同步机制进行了调整：由“固定增量条件”改为“动态游标推进”。

### 1.1 主键增量

- **原逻辑**：增量条件固定（如 `id > 固定值` 或固定范围），任务多次执行时可能重复扫描已同步数据。
- **新逻辑**：任务执行完成后记录本次同步到的最大主键值作为游标；下次执行时自动使用 `主键 > 上次游标` 作为增量条件。
- **适用说明**：适用于主键单调递增、可用于排序的表（如自增 ID）。

### 1.2 时间增量

- **原逻辑**：需配置固定起始时间（如 `create_time >= 2025-11-24`），每次执行从固定起点扫描至最新，时间窗口逐步扩大。
- **新逻辑**：任务执行完成后记录本次同步窗口的结束时间作为游标；下次执行以上次结束时间作为本次开始时间，形成滚动时间窗口。
- **适用说明**：适用于以时间字段作为增量依据的同步场景。

### 1.3 游标信息展示

- 在任务配置或任务详情中增加游标信息展示，用于查看当前增量推进位置及下次执行起点。

---

### 2. SQL Server 2008 数据源支持

响应社区需求，本次版本向下兼容了 SQL Server 2008，支持范围如下：

* **数据连接**：支持创建 SQL Server 2008 类型的数据源。
* **数据查询**：支持对该数据源进行标准 SQL 查询。
* **数据集成任务**：支持 **表输入** 与 **表输出** 组件。

> **注**：以上支持仅覆盖上述列出的组件或任务类型，未说明的组件暂未适配。

---

### 3. 新增清洗规则

新增以下字段清洗规则，用于统一数据格式并提升数据处理一致性：

* **字段值转小写**：将字段值统一转换为小写，适用于邮箱、域名等字段。
* **去除字段空格**：去除字段前后空格，并清理多余的中间空格。
* **日期格式统一**：将不同日期格式统一转换为指定标准格式（如 `yyyy-MM-dd`），支持配置模板。

---

### 4. Issue 模板升级

为了提高问题定位效率，我们对 Issue 提交流程进行了标准化升级：

* **结构标准化**：统一提单字段，强制要求环境信息与复现步骤。
* **填写指引**：在模板中内置了详细的填写提示（Placeholder）。
* **沟通成本降低**：信息更加集中，便于开发人员快速回溯与复现。

---

## 🐛 社区问题修复

感谢社区伙伴的反馈，以下问题已在此版本修复：

* 修改测试用户角色时报错 @xumingliang2020 https://gitee.com/qiantongtech/qData/issues/IDDCKX
* 数据服务向导模式新建API时，使用集合类型不生效 @jackwong123 https://gitee.com/qiantongtech/qData/issues/ID6J6F

151ceb0

2026-01-15 17:19

下载查看发行版

v1.1.0

# 🚀 qData v1.1.0 发布说明
---

## 🧭 版本概述
本次版本更新主要聚焦于 **数据治理能力的深度扩展** 与 **系统架构的全面适配**。针对复杂数据场景，我们大幅扩充了清洗与稽查规则库；在底层架构上，实现了 **ARM + x86 双架构** 的无缝支持，并重构了构建流程，显著提升了国产化环境的兼容性与部署效率。

---

## 🛠 主要更新内容

### 1️⃣ 规则引擎增强

**数据清洗规则扩展**
- 新增 **过期记录清洗** 规则，支持自动识别并处理时效性数据；
- 新增 **字段值转大写** 与 **小数位统一** 规则，提升数据标准化的处理能力；
- 新增 **超长字段截取** 功能，防止异常数据导致的存储溢出；
- 新增 **正则表达式替换** 规则，满足高复杂度的非结构化文本清洗需求。

**数据稽查规则扩展**
- 新增 **数值范围校验**，确保关键指标数据的合理性；
- 新增 **字段长度范围校验**，加强对异常录入数据的监控；
- 新增 **枚举校验**，支持对特定字典值域的合规性检查。

---

### 2️⃣ 架构与部署升级

**多架构兼容适配**
- 全面支持 **ARM + x86 双架构**：完美适配国产服务器（如鲲鹏、飞腾）及 Apple Silicon 开发环境，解决了跨平台运行的兼容性难题；
- 完成 **达梦数据库** 的 ARM 镜像适配，支持在信创环境下稳定运行。

**交付与构建优化（重要）**
- **阿里云镜像直连**：镜像已托管至阿里云镜像仓库，**不再需要下载和传输GB级的离线安装包**。部署时仅需配置镜像地址即可自动拉取，彻底解决传输慢、安装包臃肿的问题。
- **一键构建升级**：支持 Maven 一键打包 Jar 包 + Docker 镜像（可配置），大幅简化发版与交付流程。

---

### ⚙️ 底层配置变更

#### 1. 环境依赖调整
使用新增的“一键打包镜像”功能时，请确保编译服务器或开发环境已预先安装 **Docker** 及 **Buildx** 组件。

#### 2. 部署方式变更
**推荐方式**：请直接配置阿里云镜像源进行拉取部署 (Docker Pull)，以获得最快的部署体验。

---

> ⚠️ **升级提示**：
> 1. 本次更新涉及底层架构与数据库驱动适配，若您的服务器为 **ARM 架构**，请务必拉取最新的对应镜像版本。
> 2. 无需再从百度网盘下载大量镜像。

d5d8696

2025-12-19 17:10

下载查看发行版

v1.0.8

# 🚀 qData v1.0.8 发布说明
---

## 🧭 版本概述
本次版本主要同步了商业版修复的核心逻辑补丁，并针对开源社区 Issues 反馈进行了集中订正。重点对 **数据研发链路的稳定性** 进行了加固，同时完成了多处 **UI/UX 交互细节** 的优化，提升了系统的整体可用性与操作体验。

---

## 🛠 主要更新内容

### 1️⃣ 核心修复与稳定性

**数据研发与运维**
- 修复 **数据集成** 任务配置保存时报 404 错误及确认后页面未正常跳转的问题；
- 修复 **数据开发** 实例请求参数异常，以及筛选区（执行引擎、处理类型）条件未生效的问题；
- 修复 **数据查询** 编译区鼠标悬停导致代码不可见及查询结果导出报错的问题；
- 修复 F5 刷新页面后项目上下文重置的问题，优化后将保持当前选定的项目状态；
- 修复切换项目可能导致类目加载异常的问题；
- 修复 **数据服务** 中带有 Schema 模式名调用报错及日志权限控制异常的问题；
- 修复运维管理中数据集成与开发实例日志下载报错的问题。

**数据标准与资产**
- 修复 **逻辑模型** 批量删除逻辑，限制仅“停用”状态可删除，并规范了中文名称替换逻辑；
- 修复 **标准数据元** 在开启状态下仍可被误删的问题；
- 修复 **数据资产** 名称过长导致报错的边界问题，并将默认资产状态调整为“未发布”；
- 修正注册表单及项目资产中存在的错误提示词。

**系统管理**
- 修复添加项目后 **预制角色** 未正确初始化及管理员不显示的问题；
- 修复系统日志列表中操作人员信息显示错误的问题。

---

### 2️⃣ 功能增强与体验优化

**界面交互升级**
- **首页概览**：优化治理数据量趋势图逻辑，默认展示全量数据曲线；
- **操作日志**：优化详情弹窗的视觉样式，操作人字段由账号调整为昵称展示；
- **全局样式**：统一优化了列表中按钮与文字的右对齐规范，提升视觉整洁度；
- **运维工具**：运维中心的数据集成实例详情页新增 **图形缩放工具**，便于查看复杂任务流。

**检索与筛选优化**
- **标准登记**：筛选条件支持标准号与名称独立拆分，列表调整为按创建时间倒序，状态字段升级为标签展示；
- **资产地图**：优化主题展示样式（支持折叠/展开），并新增资产选择逻辑；
- **输入引导**：优化基础管理及清洗规则左侧类目区域的搜索提示文案；
- **冗余清理**：移除基础管理、清洗规则及应用管理筛选区中无实际意义的“编号”筛选。

---

### 3️⃣ 新增功能 
- **类目管理**：新增标准分类的类目管理菜单，提升分类维护效率；
- **字段过滤**：支持在多个类目树中对有效字段进行过滤。

---

### ⚙️ 底层配置变更

#### 1. 配置文件调整
后端配置文件 `ds.spark.main_jar` 已移除过期的 **3.8.8** 版本依赖，请在部署时检查相关配置。

#### 2. 构建优化
修正 `pom.xml` 文件中的版本号管理机制，确保构建产物版本标识准确。

---

> ⚠️ **升级提示**：
> 本次更新涉及后端逻辑修复与前端资源变动，部署完成后，建议 **强制刷新浏览器缓存** 以加载最新的 UI 样式与交互逻辑。

5a5f53e

2025-12-12 16:35

下载查看发行版

v1.0.7

# 🚀 qData v1.0.7 发布说明
---

## 🧭 版本概述
本次版本新增 SQL Server 支持，优化页面展示与日志功能，一键部署支持 达梦与 MySQL 主库切换，提升系统兼容性与稳定性。
---

## 🛠 主要更新内容

### 1️⃣ 新功能
- 数据连接模块新增 **SQL Server 数据源支持**；  
- 数据质量模块支持 **SQL Server 数据库类型**；  
- 数据集成任务支持 **SQL Server 数据库源与目标**；  
- API 发布模块支持 **SQL Server 数据库调用**。

---

### 2️⃣ MySQL 适配与自动部署
- 新增 **MySQL 初始化脚本**，支持自动建库建表；  
- 系统核心功能全面适配 MySQL 数据库；  
- 一键部署脚本支持自动切换主数据库（MySQL / DM8）；  
- 完善 `.env` 配置项，支持灵活定义数据库类型。
---

### 3️⃣ Bug 修复与优化
- 优化 **标准检索卡片样式**，界面展示更清晰美观；  
- 优化 **数据资产卡片样式**，提升浏览体验；  
- 修复 **标准登记字段 null 值问题**；  
- 修复 **数据集成任务点击“任务配置”跳转 404 问题**；  
- 优化 **开源版部署文档**，补充细节与执行命令说明。
---

### ️ MySQL 主库部署与启动

#### 步骤 1：进入安装目录
```bash
cd ~/（安装包解压位置）
```

#### 步骤 2：修改 `.env` 文件
```bash
sudo vi .env
```

找到以下配置，将 `dm8` 改为 `mysql`：
```bash
# 数据库类型，可选值：dm8 或 mysql
DB_TYPE=mysql
```

---

### 初始化数据库
```bash
sudo docker-compose -f docker-compose-mysql.yml --profile schema up -d
```

### 启动 qData 与所有依赖
```bash
sudo docker-compose -f docker-compose-mysql.yml --profile all up -d
```

---

> ⚠️ **提示**：  
> 若指定了 `docker-compose-xxx.yml`，命令需在 `docker-compose` 后拼接 `-f docker-compose-xxx.yml`。  
> 例如：  
> ```bash
> sudo docker-compose -f docker-compose-mysql.yml --profile all up -d
> ```

---

本次版本新增 SQL Server 支持，完善 MySQL 适配与主库切换，优化页面与日志功能，全面提升系统兼容性与稳定性。

b1331ab

2025-11-07 17:45

下载查看发行版

v1.0.6

# 🎉国庆献礼 | qData 开源版 v1.0.6 震撼发布：全面重构，能力跃升，开启数据中台新体验！

> **所见即所得，全流程沉浸式体验 —— qData 1.0.6 正式上线！**

我们很高兴地宣布，**qData 开源版 v1.0.6** 正式发布！这是一次从内到外的深度重构与能力升级，不仅带来了多项重磅新功能，更对核心模块进行了系统性优化，修复了大量历史问题，全面提升稳定性、易用性与可维护性。

无论你是初次接触数据中台的新用户，还是长期关注 qData 的开发者，本次更新都将为你带来耳目一新的使用体验。

---

## 🚀 为什么说 v1.0.6 是一次「重大更新」？

本次版本代号为“**重塑之跃**”，我们完成了多个核心模块的架构重构，前端工程化全面升级，并引入标准管理体系，标志着 qData 向更专业、更稳定、更易用的方向迈出了关键一步。

---

## ✨ 核心亮点

### 🌟 全新演示数据：所见即所得，开箱即用
- 内置**全套真实场景演示数据**，覆盖数据接入、治理、开发、服务、分析、可视化全流程。
- 新用户无需准备数据，登录即可**沉浸式体验数据中台完整链路**，快速理解核心概念与操作逻辑。
- 主要页面新增**新手引导提示框**，帮助首次使用者轻松上手，降低学习成本。

---

## 🔧 重磅新功能

### 📚 标准体系管理（全新模块）
构建统一的数据标准体系，提升数据规范性与一致性：
- **国家标准管理**
- **行业标准管理**
- **地方标准管理**
- **团体标准管理**
- **标准检索功能**：快速查找所需标准，支持多维度筛选与模糊搜索。

> 数据标准化迈出关键一步，助力企业打造高质量数据资产底座。

---

## 🔁 核心模块重构

1. **数据连接功能优化**  
   提升连接配置灵活性与稳定性，支持更多场景。

2. **数据查询功能重构**  
   查询性能提升，权限控制更精细，用户体验更流畅。

3. **任务管理模块重构**  
   - 统一管理**数据集成**与**数据开发**任务。
   - 任务类目管理更清晰，支持分类组织与快速定位。

4. **前端工程全面升级**  
   - 重构整体文件目录结构，提升代码可维护性。
   - 规范 URL 请求路径，增强系统可扩展性与前后端协作效率。

---

## 🐞 重点 Bug 修复（部分列举）

我们集中修复了 **80+ 项** 用户反馈的关键问题，涵盖权限、表单、交互、数据展示等多个方面：

| 模块 | 修复内容 |
|------|----------|
| **系统管理** | 用户新增/编辑时角色分配异常、必填提示不一致等问题 |
| **数据研发** | 项目成员选择弹窗滚动条、分页失效；类目搜索 label 不一致；状态默认值错误等 |
| **数据集成** | ID 增量模式字段应为单选、开始值仅支持整数；时间选择器未正确显示；SQL 模式切换后配置未隐藏等 |
| **数据开发** | ETL 代码生成缺失（人大金仓模式名拼接）、转换组件字段派生器清空逻辑错误等 |
| **基础管理** | 类目新增状态默认应为“启用”；上级类目搜索后下级未展示等 |
| **数据质量** | 菜单权限分配后不显示、质量任务无评分、稽核规则修改后信息异常等 |
| **数据服务** | API 测试返回异常、分页错误、参数缓存残留、限流配置不生效、SQL 解析失败等 |
| **资产地图** | 详情展示异常、无权限按钮仍可见、预览添加无权限提示优化等 |

> 更多细节优化，请参阅完整更新日志。

---

## 🙏 致谢

感谢每一位社区用户的支持与反馈，正是你们的声音推动 qData 不断进化。欢迎下载体验 v1.0.6，一起打造属于开源社区的数据中台利器！

👉 **立即下载体验：** [https://gitee.com/qiantongtech/qData/releases](https://gitee.com/qiantongtech/qData/releases)

📢 **Star ⭐ | Fork 🍴 | Issue 💬 | PR ❤**

c6b37d6

2025-09-30 18:46

下载查看发行版

v1.0.5

88e3b36

2025-09-03 15:00

下载查看发行版

v1.0.4

7b06b0c

2025-08-28 10:53

下载查看发行版

v1.0.3

# 🚀 qData 1.0.3 版本更新说明

本版本主要围绕 **数据质量与稽查管理** 进行功能增强，新增任务管理与报告能力，提升质量管控的可追溯性与闭环治理能力。

---

## ✨ 新增功能
- 🆕 **数据质量任务管理**：支持统一配置、调度和管理质量任务
- 📑 **数据质量任务报告**：自动生成任务报告，直观呈现数据质量结果

## 🔧 功能优化
- 📋 **稽查规则补充录入**：已新增 3 条稽查规则，丰富规则库
- 📜 **执行日志记录**：新增任务执行日志，支持问题追踪与排查

---

# 🔧 配置与启动教程（dev 环境示例）

> 目标：在原有说明基础上，补充 **配置 & 启动** 四步操作，按你要求的顺序执行即可。

## 1、配置 `qdata-quality` 的 `application-dev.yml`（Mongo 连接）

将 `application-dev.yml` 放在 `qdata-quality.jar` 同级目录（或指定绝对路径），示例：

```yaml
spring:
  data:
    mongodb:
      uri: mongodb://sjzt:Desl9Y4eIQP1BHh7@127.0.0.1:27017/data?authSource=admin
      field-naming-strategy: org.springframework.data.mapping.model.SnakeCaseFieldNamingStrategy
      print: true
      slowQuery: true
      slowTime: 1000
```
---

## 2、启动 `qdata-quality.jar`

将 `application-dev.yml` 与 `qdata-quality.jar` 放在同一目录，执行：

```bash
java -Xms512m -Xmx1024m -jar qdata-quality.jar --spring.profiles.active=dev
```

如需后台运行：

```bash
nohup java -Xms512m -Xmx1024m -jar qdata-quality.jar --spring.profiles.active=dev > ./logs/console.out 2>&1 &
```

---

## 3、配置 `qdata-server` 的 `application-dev.yml`

在 `qdata-server` 的 `application-dev.yml` 中增加以下配置：

```yaml
# 数据质量服务组件HTTP地址（用于调度器调用）
quality_url: http://127.0.0.1:8083/quality/qualityTaskExecutor/runExecuteTask

# 数据质量任务回调（用于抽检）
path:
  quality_url: http://127.0.0.1:8083/quality/qualityTaskExecutor

# 数据质量任务dolphinscheduler项目编码（在调度器中创建一个工作空间）
http_quality_projectCode: xxxxxxx
```

> **提示**
> - 若 `qdata-quality` 与 `qdata-server` 不在同一台机器，请将 `127.0.0.1` 改为 `qdata-quality` 的实际 IP/域名。
> - 若你修改了 `quality` 服务端口或 `context-path`，记得同步调整以上地址。

---

## 4、启动 `qdata-server.jar`

同目录下已准备好 `application-dev.yml` 的情况下，执行：

```bash
java -Xms512m -Xmx1024m -jar qdata-server.jar --spring.profiles.active=dev
```

💡 **提示**：建议升级至 qData 1.0.3，以获得更完善的数据质量管理与稽查能力。

83bbeed

2025-08-25 21:12

下载查看发行版

v1.0.2

fd15344

2025-08-13 13:56

下载查看发行版