📖简体中文 | 📖English
gitee地址：https://gitee.com/qiantongtech/qData （github上也有） hj **不要 从人家原仓库那里 强制 同步了**，不然可能有问题【看 下面的 “自己记录”第一点就是】 **看下人家的部署文档**： https://qdata.qiantong.tech/docs/deploy/build-from-source.html#_2%E3%80%81%E7%89%88%E6%9C%AC%E8%A6%81%E6%B1%82 # hj：自己记录 ### 0.使用devolop分支 1. ### 如果使用mysql数据库（**qdata库**）：**有些菜单的路由找不到（无法打开页面，如 数据研发-任务管理-数据集成）、后端接口会报错（首页的 notice就会报错**） 原因是 9月29、9月30日 代码的提交：人家 只 提交了 达梦的sql，没有提交 mysql的sql **后期官方会 更新qdata的sql脚本**： https://gitee.com/qiantongtech/qData/issues/ID0WUL#git-comment-divider **我就使用 达梦作为 qdata库** （dolphinscheduler库还是使用mysql，他们是不同的库） ### 2.主要使用 qdata-server（端口默认是8080，我改为 8081了） java服务；（qdata-quality好像暂时自己没有用到） hj：我使用idea + 虚拟机的中间件，自己电脑内存不够了，就 打包 后端后，关闭idea、使用java -jar 运行。 ### [重置admin密码](https://qdata.qiantong.tech/docs/deploy/build-from-source.html#_6-3、重置admin密码) #在数据库中执行下面的SQL UPDATE SYSTEM_USER SET PASSWORD='$2a$10$3dzj0nGSmlNjPw4iuZNHse5.lxrNzumTCQ8aEaV7nNEtn2pXmmimW' WHERE USER_ID=1; 启动后端和前端完成后： 在浏览器中打开：([http://localhost:81](http://localhost:81/)) 默认账户/密码： admin/qData123 ### 3. qdata的 “API管理”菜单的坑  ### 4.自己 虚拟机，要分为 **5.6G内存** 才够启动 hadoop、dolphinscheduler、（Zookeeper）spark 不然内存过小：在 数据集成 菜单页面，点击“执行一次”后，在 dolphinscheduler的 worker下看logs，显示下图绿框的（最长绿框，哎 也可能是我没有启动 spark的worker导致）  5. ### “数据集成”中 spark 内存设置  ### 6.启动 前端 我复制到到 D:\devolop\WebstormProjects\qdata-ui 了，到这个目录下运行。 使用cmd就行（可以不使用webstorm（我本地电脑内存不够，没有使用webstorm启动了）） (如果没有安装过yarn，需要先安装：npm install -g yarn) #0.安装依赖（只有 没有安装过依赖才需要执行，一般是 第一次使用这个项目需要执行） ``` yarn install ``` #1.本地运行 ``` yarn run dev ``` #2.打包 (一般是 配合Nginx部署) ``` yarn build:prod ``` ### 7.数据库迁移 sqlLark可能可以用： https://blog.csdn.net/JuannyOh/article/details/146223614 https://www.sqlark.com/docs/zh/v1/data-migration/easystart.html#%E4%B8%80-%E8%BF%9E%E6%8E%A5%E6%BA%90%E5%BA%93%E5%92%8C%E7%9B%AE%E7%9A%84%E5%BA%93  ### #.遇到的一些坑 #### 6.1 spark.master_url填写  #### 6.2 数据资产-数据连接 中的数据库 连接地址 不要填写 127.0.0.1（或localhost），因为 这个用到 “数据研发-任务管理-数据集成”时，会 作为参数 发送给 spark，spark没有部署到 本地（部署到 虚拟机了），导致 连接不上数据库。 同理，rabbitmq的连接地址也不要填写 127.0.0.1（或localhost） #### 6.3 rabbitmq的 用户名和密码 不要填写guest用户，因为它 默认 不支持 远程连接。 自己创建另外的用户（以window中的rabbitmq为例）： cd D:\devolop\RabbitMQ Server\rabbitmq_server-3.7.15\sbin> #添加用户 “admin”，密码是 “123456” rabbitmqctl.bat add_user admin 123456 #设置用户“admin”的 角色标签 rabbitmqctl.bat set_user_tags admin administrator # 设置 用户“admin”的权限 rabbitmqctl.bat set_permissions -p "/" admin ".*" ".*" ".*" #### 6.4 导入 dm数据库脚本，中文乱码 https://blog.csdn.net/qq_50750196/article/details/150772438  #### 6.5 dolphinscheduler 项目编码 问题 在菜单 “数据研发-任务管理-数据集成”，下图 第一次（是指 第一次集成 dolphinscheduler ） 点击“保存”时，一般会报错“项目编码找不到”：  解决：打开F12，重新点击“保存”按钮，看下 请求“载荷”的“projectCode”是多少（假设为 ${projectCode}）；  然后去dolphinscheduler的ui页面-项目管理 （http://192.168.0.200:12345/dolphinscheduler/ui）菜单，新建一个项目（新建后，在 dolphinscheduler库（dolphinscheduler依赖的数据库））的t_ds_project 表中多一条数据，自己手动修改 t_ds_project 新数据的 字段 “code”为 ${projectCode}(如 152317790975712)   #### 6.6 数据集成-导入excel 注意： 1. qdata-server.jar所在的服务器需要有 hadoop环境【qdata-server.jar作为 client， 它所需要的hadoop 可以不一定是 虚拟机中的hadoop——如果qdata-server.jar在windows本地运行，可以在windows本地部署hadoop，参考 https://blog.nowcoder.net/n/7d9dd01173274e3387d95aa679b8c63f?from=nowcoder_improve】 hj 我怎么做：把qdata-server.jar 上传到虚拟机运行（因为虚拟机 有 hadoop环境； windows部署hadoop 很久都部署不好） java -Xms500m -Xmx500m -Dserver.port=8082 -jar qdata-server.jar  2.访问控制异常，权限问题 类似如下图：  我还在运行 qdata-server.jar的虚拟机中加了“hadoop”用户，设置 了免密登录 【结果没有啥用】 #echo "| 分类 | 技术 | 描述 |
|---|---|---|
| 后端技术栈 | Spring Boot | 提供快速开发能力 |
| Spring Security | 实现用户权限认证与控制 | |
| MySQL、PostgreSQL、达梦8、人大金仓 | 持久化存储与配置管理 | |
| MyBatis-Plus | 简化数据库操作 | |
| Redis | 支持缓存、分布式锁等 | |
| RabbitMQ | 实现异步通信与解耦处理 | |
| 前端技术栈 | Vue 3 | 现代化响应式框架 |
| Element UI | 常用 UI 组件支持 | |
| Vite | 快速开发与构建工具 | |
| 第三方依赖 | DolphinScheduler | 提供可视化任务编排、依赖管理及调度能力 |
| Spark | 批流一体，支持 ETL 数据处理 | |
| Hive | 支持数据建模、分区管理及元数据维护 | |
| Hive、HBase | 支持海量非结构化与半结构化数据存储 |
| 环境 | 项目 | 推荐版本 | 说明 |
|---|---|---|---|
| 后端 | JDK | 1.8 或以上 | 建议使用 OpenJDK 8 或 11 |
| Maven | 3.6+ | 项目构建与依赖管理 | |
| 达梦8 | 8.0 | 关系型数据库（可切至MySQL） | |
| Redis | 5.0+ | 缓存与消息功能支持 | |
| RabbitMQ | 可选 | 用于任务调度、异步通信等功能 | |
| 操作系统 | Windows / Linux / Mac | 通用环境均可运行 | |
| 前端 | Node.js | 16+ | 构建工具依赖 |
| npm | 10+ | 包管理器 | |
| Vite | 最新版 | 脚手架工具 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |
 |