登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
轻量养虾,开箱即用!低 Token + 稳定算力,Gitee & 模力方舟联合出品的 PocketClaw 正式开售!点击了解详情
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
1
Star
0
Fork
383
mengerwei2022
/
qData
forked from
千桐科技
/
qData
确定同步?
同步操作将从
千桐科技/qData
强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
删除在远程仓库中不存在的分支和标签
同步 Wiki
(当前仓库的 wiki 将会被覆盖!)
取消
确定
代码
Issues
0
Pull Requests
0
统计
流水线
服务
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
标签
标签名
描述
提交信息
操作
v1.0.6
# 🎉国庆献礼 | qData 开源版 v1.0.6 震撼发布:全面重构,能力跃升,开启数据中台新体验! > **所见即所得,全流程沉浸式体验 —— qData 1.0.6 正式上线!** 我们很高兴地宣布,**qData 开源版 v1.0.6** 正式发布!这是一次从内到外的深度重构与能力升级,不仅带来了多项重磅新功能,更对核心模块进行了系统性优化,修复了大量历史问题,全面提升稳定性、易用性与可维护性。 无论你是初次接触数据中台的新用户,还是长期关注 qData 的开发者,本次更新都将为你带来耳目一新的使用体验。 --- ## 🚀 为什么说 v1.0.6 是一次「重大更新」? 本次版本代号为“**重塑之跃**”,我们完成了多个核心模块的架构重构,前端工程化全面升级,并引入标准管理体系,标志着 qData 向更专业、更稳定、更易用的方向迈出了关键一步。 --- ## ✨ 核心亮点 ### 🌟 全新演示数据:所见即所得,开箱即用 - 内置**全套真实场景演示数据**,覆盖数据接入、治理、开发、服务、分析、可视化全流程。 - 新用户无需准备数据,登录即可**沉浸式体验数据中台完整链路**,快速理解核心概念与操作逻辑。 - 主要页面新增**新手引导提示框**,帮助首次使用者轻松上手,降低学习成本。 --- ## 🔧 重磅新功能 ### 📚 标准体系管理(全新模块) 构建统一的数据标准体系,提升数据规范性与一致性: - **国家标准管理** - **行业标准管理** - **地方标准管理** - **团体标准管理** - **标准检索功能**:快速查找所需标准,支持多维度筛选与模糊搜索。 > 数据标准化迈出关键一步,助力企业打造高质量数据资产底座。 --- ## 🔁 核心模块重构 1. **数据连接功能优化** 提升连接配置灵活性与稳定性,支持更多场景。 2. **数据查询功能重构** 查询性能提升,权限控制更精细,用户体验更流畅。 3. **任务管理模块重构** - 统一管理**数据集成**与**数据开发**任务。 - 任务类目管理更清晰,支持分类组织与快速定位。 4. **前端工程全面升级** - 重构整体文件目录结构,提升代码可维护性。 - 规范 URL 请求路径,增强系统可扩展性与前后端协作效率。 --- ## 🐞 重点 Bug 修复(部分列举) 我们集中修复了 **80+ 项** 用户反馈的关键问题,涵盖权限、表单、交互、数据展示等多个方面: | 模块 | 修复内容 | |------|----------| | **系统管理** | 用户新增/编辑时角色分配异常、必填提示不一致等问题 | | **数据研发** | 项目成员选择弹窗滚动条、分页失效;类目搜索 label 不一致;状态默认值错误等 | | **数据集成** | ID 增量模式字段应为单选、开始值仅支持整数;时间选择器未正确显示;SQL 模式切换后配置未隐藏等 | | **数据开发** | ETL 代码生成缺失(人大金仓模式名拼接)、转换组件字段派生器清空逻辑错误等 | | **基础管理** | 类目新增状态默认应为“启用”;上级类目搜索后下级未展示等 | | **数据质量** | 菜单权限分配后不显示、质量任务无评分、稽核规则修改后信息异常等 | | **数据服务** | API 测试返回异常、分页错误、参数缓存残留、限流配置不生效、SQL 解析失败等 | | **资产地图** | 详情展示异常、无权限按钮仍可见、预览添加无权限提示优化等 | > 更多细节优化,请参阅完整更新日志。 --- ## 🙏 致谢 感谢每一位社区用户的支持与反馈,正是你们的声音推动 qData 不断进化。欢迎下载体验 v1.0.6,一起打造属于开源社区的数据中台利器! 👉 **立即下载体验:** [https://gitee.com/qiantongtech/qData/releases](https://gitee.com/qiantongtech/qData/releases) 📢 **Star ⭐ | Fork 🍴 | Issue 💬 | PR ❤**
c6b37d6
2025-09-30 18:46
下载
v1.0.5
# 🚀 qData 1.0.5 版本更新说明 本次更新聚焦 **规则治理一体化、非结构化数据支持、开源版体验与部署优化**,全面提升规则复用能力、数据接入广度和运维效率。 --- ## ✨ 新增功能 - 🧩 **字段级规则绑定** 在“数据元类型”中为字段绑定稽查与清洗规则,任务和组件配置时可自动加载并支持二次修改,减少重复配置。 - 📂 **非结构化数据 ETL** 支持 CSV、JSON 等文件型和半结构化数据的抽取、解析、清洗与加载;提供字段映射、格式化和校验能力,扩展数据治理能力。 --- ## 🔧 功能优化 - 🔗 **规则联动与组件重构** 转化组件和质量任务可自动继承字段规则,逻辑更清晰,装配更高效。 - 🏠 **开源版首页 UI 重构** 界面焕新,更简洁直观,信息展示更完善。 - 🧰 **部署与运维优化** - **快速部署脚本升级**:支持环境自检、健康检查和镜像离线导入 - **日志功能恢复**:标准输出和文件日志双通道,便于排查与监控 - **部署解耦**:DS 与后端服务可单独部署,灵活组合 - 📖 **参考文档**:[快速部署指南(小白版)](https://qdata.qiantong.tech/docs/install/Docker%20%E9%83%A8%E7%BD%B2%EF%BC%88%E5%B0%8F%E7%99%BD%E7%89%88%EF%BC%89.html) --- ## 🐞 问题修复 - 修复开源版无日志输出问题 - 解决 DS 与后端服务强制同包部署限制 - 优化规则回填、组件编辑提示等细节体验 --- 💡 **建议升级至 qData 1.0.5**,获得更高效的规则治理、更广的数据接入能力和更便捷的部署运维体验。
88e3b36
2025-09-03 15:00
下载
v1.0.4
# 🚀 qData 1.0.4 版本更新说明 本版本聚焦 **转化组件重构(数据清洗)、清洗规则扩展及资产管理升级**,进一步提升数据处理灵活性与资产管理体验。 --- ## 🔧 功能优化 - 🔄 **转化组件重构**:支持绑定多个清洗规则,增强数据处理的灵活性与扩展性 - 🗂 **资产管理优化**:重构数据资产与项目资产模块,列表与详情展示逻辑更合理 - 🎨 **界面体验升级**:资产管理界面全面优化,交互更清晰,布局更直观 --- ## ✨ 新增功能 - 🆕 **清洗规则扩展**:新增 5 条常用清洗规则,丰富数据治理能力 - 📦 **资产质量任务模块**:在资产详情页中新增质量任务配置与结果展示,强化资产质控能力 💡 **提示**:建议升级至 qData 1.0.4,以获得更完善的数据清洗能力与资产管理体验。
7b06b0c
2025-08-28 10:53
下载
v1.0.3
# 🚀 qData 1.0.3 版本更新说明 本版本主要围绕 **数据质量与稽查管理** 进行功能增强,新增任务管理与报告能力,提升质量管控的可追溯性与闭环治理能力。 --- ## ✨ 新增功能 - 🆕 **数据质量任务管理**:支持统一配置、调度和管理质量任务 - 📑 **数据质量任务报告**:自动生成任务报告,直观呈现数据质量结果 ## 🔧 功能优化 - 📋 **稽查规则补充录入**:已新增 3 条稽查规则,丰富规则库 - 📜 **执行日志记录**:新增任务执行日志,支持问题追踪与排查 --- # 🔧 配置与启动教程(dev 环境示例) > 目标:在原有说明基础上,补充 **配置 & 启动** 四步操作,按你要求的顺序执行即可。 ## 1、配置 `qdata-quality` 的 `application-dev.yml`(Mongo 连接) 将 `application-dev.yml` 放在 `qdata-quality.jar` 同级目录(或指定绝对路径),示例: ```yaml spring: data: mongodb: uri: mongodb://sjzt:Desl9Y4eIQP1BHh7@127.0.0.1:27017/data?authSource=admin field-naming-strategy: org.springframework.data.mapping.model.SnakeCaseFieldNamingStrategy print: true slowQuery: true slowTime: 1000 ``` --- ## 2、启动 `qdata-quality.jar` 将 `application-dev.yml` 与 `qdata-quality.jar` 放在同一目录,执行: ```bash java -Xms512m -Xmx1024m -jar qdata-quality.jar --spring.profiles.active=dev ``` 如需后台运行: ```bash nohup java -Xms512m -Xmx1024m -jar qdata-quality.jar --spring.profiles.active=dev > ./logs/console.out 2>&1 & ``` --- ## 3、配置 `qdata-server` 的 `application-dev.yml` 在 `qdata-server` 的 `application-dev.yml` 中增加以下配置: ```yaml # 数据质量服务组件HTTP地址(用于调度器调用) quality_url: http://127.0.0.1:8083/quality/qualityTaskExecutor/runExecuteTask # 数据质量任务回调(用于抽检) path: quality_url: http://127.0.0.1:8083/quality/qualityTaskExecutor # 数据质量任务dolphinscheduler项目编码(在调度器中创建一个工作空间) http_quality_projectCode: xxxxxxx ``` > **提示** > - 若 `qdata-quality` 与 `qdata-server` 不在同一台机器,请将 `127.0.0.1` 改为 `qdata-quality` 的实际 IP/域名。 > - 若你修改了 `quality` 服务端口或 `context-path`,记得同步调整以上地址。 --- ## 4、启动 `qdata-server.jar` 同目录下已准备好 `application-dev.yml` 的情况下,执行: ```bash java -Xms512m -Xmx1024m -jar qdata-server.jar --spring.profiles.active=dev ``` 💡 **提示**:建议升级至 qData 1.0.3,以获得更完善的数据质量管理与稽查能力。
83bbeed
2025-08-25 21:12
下载
v1.0.2
# 🚀 qData 1.0.2 版本更新说明 本版本主要针对数据开发相关功能的前端交互和界面进行了优化调整,提升使用体验与可读性。 --- ## ✨ 优化内容 - ⚡ **性能优化**:提升数据开发执行效率与稳定性 - 📅 **调度优化**:任务调度策略更灵活,支持多种执行计划 - 🗄 **多数据库支持优化**:优化达梦 DM、MySQL、Oracle、Kingbase 的执行与调度体验 - 🔄 **执行类型优化**:执行一次、定时调度、基础配置执行流程更顺畅 - 🖥 **界面重构**:调整布局与表格样式,减少冗余信息,提高可读性 - 🎯 **交互优化**:统一按钮样式与操作逻辑,减少多余点击 --- 💡 **提示**:建议升级到 qData 1.0.2,以获得更流畅的数据开发与调度体验。
fd15344
2025-08-13 13:56
下载
v1.0.1
🚀 **qData 1.0.1 数据中台更新日志** ✅ **本次亮点** 1. 🔄 **重构数据研发-数据集成模块** - 重新设计并优化了数据集成模块,提升了数据处理效率与稳定性,支持更灵活的任务调度与执行管理。 2. 🔢 **排序记录转化组件发布** - 新增排序记录转化功能,支持数据按指定字段进行排序,提升数据处理的灵活性和便捷性。 3. ⚙ **字段派生器转化组件发布** - 发布字段派生器组件,支持从现有字段派生新的字段,满足多种复杂的数据处理需求。 🛠 **功能增强** - 🧩 **支持多种数据源连接与调度优化** - 强化了数据源连接能力,支持更多数据源类型,并优化了调度系统的执行效率。 - 🧪 **数据清洗规则增强** - 新增多个数据清洗规则,支持更精细化的规则配置,满足不同数据质量管理的需求。 🐞 **Bug 修复** - 🔧 **修复ETL任务异常中断问题** - 解决了在特定情况下,ETL任务执行过程中因网络或资源问题导致任务异常中断的 bug。 - 🔄 **修复字段类型转换异常** - 修复了部分字段类型在转化过程中出现的数据错误或异常,确保数据转化过程更加稳定可靠。 📚 **文档更新** - 🖥 **更新 SQL 脚本** - **达梦数据库 SQL 脚本:dm_v1_0_1.sql** - 请参阅文件 dm_v1_0_1.sql,该脚本用于达梦数据库的配置和初始化。 - **MySQL 数据库 SQL 脚本:mysql_v1_0_1.sql** - 请参阅文件 mysql_v1_0_1.sql,该脚本用于MySQL数据库的配置和初始化。
3d394f4
2025-08-06 10:29
下载
v1.0.0
**千数平台(qData)** 是一款一站式开源数据中台,涵盖了数据集成、基础建设、数据治理、数据开发、监控告警、数据服务与数据可视化等核心能力。此版本(1.0.0)通过高效、灵活且可扩展的架构设计,支持多源数据的统一整合与标准化治理,帮助各类业务系统实现数据资产化、服务化与价值释放。 qData为前台应用提供稳定、安全、高性能的数据支撑,全面赋能数据驱动的智能决策与业务升级。平台的强大数据处理能力与低门槛开发工具,确保用户能够高效利用数据进行分析与决策。 ## 核心功能模块 ### 数据集成(ETL) 支持数据库、文件、消息队列等多种数据源的无缝接入,提供直观的ETL设计界面、多任务调度与实时监控,并内置丰富的数据清洗规则。对标Kettle,以更低的使用成本助力数据流转。 ### 数据资产 数据资产管理通过目录结构对数据资产进行精细化分级分类,覆盖从创建到销毁的全生命周期管理,确保每一份数据都得到妥善处理,提升资产的可见性与可控性。 ### 数据服务 数据服务管理模块负责将数据资产封装为API服务,支持外部API接口转发,包含全面的日志管理、数据脱敏、数据接口和服务接口管理及其调用日志监控,标准化与可管可控的数据服务能力。 ### 数据标准 涉及逻辑模型(表级关联数据元)与数据元模型(字段级绑定规范、稽查与清洗)。为结构化数据制定统一标准,确保数据质量达到企业级要求。 ### 数据质量 利用预置的稽查规则和数据清洗规则,对数据的准确性、一致性、完整性进行自动化校验与修正,确保数据始终处于最佳状态,满足高质量治理需求。 ### 元数据管理 集中管理数据表、字段、稽查、清洗指标等元信息,构建统一的数据资产目录,为用户提供便捷的数据查找途径,支持深入的数据血缘分析与结构维护。 ### 标签管理 统一标签管理支持自动生成多维度标签,并提供强大的筛选能力,提升数据分类与精准检索效率,优化数据使用效率与业务响应速度。 ### 数据开发 支持主流数据库(如达梦8、MySQL、Oracle、人大金仓等)的任务开发,结合SQL及大数据脚本,根据业务需求灵活加工和处理数据,支撑复杂业务场景下的数据建模与计算。 ### 数据查询 提供灵活且高效的交互式查询工具,帮助用户迅速分析和挖掘结构化数据中的深层价值,提升数据探索与决策辅助能力。 ### 系统管理 包括系统配置、用户与权限管理、运行监控、日志管理与服务器资源监控等核心功能,提供工作空间管理,确保任务在不同项目组之间的高效拆分与协作,适应前店后厂式组织流程。
773008b
2025-07-22 10:29
下载
下载
请输入验证码,防止盗链导致资源被占用
取消
下载
Java
1
https://gitee.com/mengerwei2022/qData.git
git@gitee.com:mengerwei2022/qData.git
mengerwei2022
qData
qData
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册