# JavaEE-Lab4 **Repository Path**: coast23/javaee-lab4 ## Basic Information - **Project Name**: JavaEE-Lab4 - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-16 - **Last Updated**: 2026-11-16 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 实验四:MySQL 与 MongoDB 日志读写性能对比 同一套日志业务模型、同一组 REST 接口、同一份 JMeter 脚本,分别用 **Spring Data JPA + MySQL** 和 **Spring Data MongoDB + MongoDB 7.0** 实现两条落库链路,用 JMeter 做负载/压力测试,用 Prometheus 做运行观测。 ``` . ├── common/ # 两套实现共用:日志模型、DTO、分页结构、统一异常处理 ├── log-jpa/ # 实现一:Spring Data JPA + MySQL(默认端口 8080) ├── log-mongo/ # 实现二:Spring Data MongoDB + MongoDB(默认端口 8081) ├── deploy/ # 5 台服务器各自的 compose、初始化脚本、Prometheus 配置 │ ├── mysql/ # 服务器 B │ ├── mongo/ # 服务器 C │ ├── prometheus/ # 服务器 D │ ├── app/ # 服务器 E(两个应用) │ └── all-in-one/ # 单机自测(可选) └── jmeter/ # 压测脚本与结果汇总 ``` ## 1. 接口契约 两套实现的接口逐字节一致,JMeter 只换 `host:port`。 | 方法 | 路径 | 说明 | |---|---|---| | POST | `/api/logs` | 单条写入,成功返回 `201` + 完整日志对象 | | GET | `/api/logs` | 条件分页查询,`level`、`from`、`to`、`page`(0 基,默认 0)、`size`(1..100,默认 20) | 写入请求体(`id`、`createdAt` 可省略,省略时服务端生成 32 位 UUID / 取当前 UTC 时间): ```json { "id": "9f1c0f0d1b8e4b0e9c1f2a3b4c5d6e7f", "traceId": "0b7c1c7e-9d2a-4a1f-9b0a-1f2e3d4c5b6a", "level": "INFO", "source": "order-service", "message": "...", "clientIp": "10.0.0.8", "createdAt": "2026-11-08T07:30:00Z" } ``` 查询返回: ```json { "items": [ ... ], "page": 0, "size": 20, "total": 100000, "totalPages": 5000, "hasNext": true } ``` 排序统一为 `createdAt DESC, id DESC`(两套实现排序键相同,深分页语义才一致)。 字段上限严格按表 2:`id` 32 位十六进制、`traceId` ≤64、`level` ∈ TRACE/DEBUG/INFO/WARN/ERROR、 `source` ≤128、`message` 1..4096、`clientIp` ≤45。超限返回 400,错误体结构两套一致。 (表 2 允许 26 位 ULID 或 32 位 UUID,本实验统一选 **32 位 UUID**,因此 MySQL 列是 `CHAR(32)`。) ## 2. 环境要求与构建 | 组件 | 版本 | |---|---| | JDK | 21(Temurin / OpenJDK 均可,`--release 21` 编译) | | Maven | 3.9+,仓库自带 `./mvnw`,服务器上没有 Maven 也能构建 | | 数据库 | MySQL 8.0、MongoDB 7.0(均为 Docker 镜像) | | 压测 | JMeter 5.6.3(需匹配题目的版本) | ```bash ./mvnw -DskipTests clean package # 或 mvn -DskipTests clean package # 产物:log-jpa/target/log-jpa-1.0.0.jar、log-mongo/target/log-mongo-1.0.0.jar ./mvnw test # 参数解析/分页结构的单元测试(8 个用例) ``` ## 3. 部署(5 台虚拟机) 详见 [deploy/README.md](deploy/README.md)。顺序:**B(MySQL)、C(Mongo) → E(两个应用) → D(Prometheus) → A(JMeter)**。 ### 本次实验的实际部署与实测数据 已在 5 台云服务器上完成部署与压测,环境拓扑、20 个场景的原始结果与结论见 [docs/results.md](docs/results.md),原始 JTL 在 `jmeter/results/`。 关键数字(10 万条数据、60 秒采样、0 错误): | 场景 | MySQL 8.0 (JPA) | MongoDB 7.0 | 倍率 | |---|---|---|---| | 单条写入 1 并发 | 267 req/s,3.7ms | 2187 req/s,0.4ms | 8.2× | | 单条写入 16 并发 | 1881 req/s,7.8ms | 8430 req/s,1.7ms | 4.5× | | 条件分页查询 1 并发 | 98.5 req/s,10ms | 117.8 req/s,8.3ms | 1.2× | | 条件分页查询 8 并发 | 134.6 req/s,55ms | 180.2 req/s,41ms | 1.3× | | 混合 7:3(6 写 2 查) | 1115 req/s,6.7ms | 6813 req/s,1.1ms | 6.1× | ## 4. 压测 ```bash cd jmeter # 4.1 预灌数据(查询压测需要有量),8 线程 × 12500 次 = 10 万条 jmeter -n -t prefill.jmx -Jhost=10.0.0.15 -Jport=8080 -Jthreads=8 -Jloops=12500 -l results/prefill-jpa.jtl jmeter -n -t prefill.jmx -Jhost=10.0.0.15 -Jport=8081 -Jthreads=8 -Jloops=12500 -l results/prefill-mongo.jtl # 4.2 跑矩阵(只写 1/4/8/16 线程、只查 1/4/8/16 线程、混合 7:3) DURATION=60 ./run-matrix.sh 10.0.0.15 8080 jpa DURATION=60 ./run-matrix.sh 10.0.0.15 8081 mongo # 4.3 汇总成对比表 python3 summarize.py results/ ``` 可调参数(`-J` 前缀):`host`、`port`、`write.threads`、`query.threads`、`ramp`、`duration`、 `message.size`(默认 200;另测 4096 观察长文本影响)、`window.days`(查询时间窗,默认 1 天)、 `page.max`、`size.max`。 ## 5. Prometheus 两个应用都会暴露 `/actuator/prometheus`(`http_server_requests_seconds`、HikariCP、JVM、GC)。 服务器 D 上的 Prometheus 每 5 秒抓一次,浏览器打开 `http://<服务器D>:9090`, 常用查询: ```promql rate(http_server_requests_seconds_count{application="log-jpa"}[1m]) histogram_quantile(0.95, sum by (le) (rate(http_server_requests_seconds_bucket{application="log-jpa"}[1m]))) hikaricp_connections_active{application="log-jpa"} jvm_memory_used_bytes{application="log-mongo",area="heap"} ``` ## 6. 对比公平性约定(写实验报告时必须说明) 1. 两套实现共用同一个 DTO、同一份参数校验、同一个分页返回结构,`GET` 参数解析逻辑都在 `common` 里; 2. 两套都建了等价的二级索引,且**都按完整排序键建索引**:MySQL `(level, created_at, id)` + `(created_at, id)`, MongoDB `{level:1,createdAt:-1,_id:-1}` + `{createdAt:-1,_id:-1}`。排序键是 `createdAt DESC, id DESC`, 索引必须带上 `id/_id`,否则 MySQL 要 filesort、MongoDB 要在内存里 blocking sort,测出来的就不是数据库的差别了 (实测:补上 `_id` 之前 MongoDB 单条查询 38ms,之后 8ms); 3. 写入都是**单条 INSERT**:JPA 实体实现 `Persistable`,避免 `save()` 走 merge(先 SELECT 再 INSERT)多一次查询; 4. 连接池都限 10(Hikari `maximum-pool-size` / Mongo `maxPoolSize`),Tomcat 线程数都 200; 5. 两套应用资源相同(`-Xmx512m`),JMeter 单独跑在服务器 A,不与应用抢 CPU; 6. `message` 长度、level 分布、clientIp 取值分布由同一个 JMX 生成。 ## 7. 已知差异(报告里要写清楚,不要当成"性能差异") - MySQL `DATETIME(6)` 是微秒精度,MongoDB BSON Date 是毫秒精度; - MySQL 有 `NOT NULL` 约束、MongoDB 侧约束在应用层(初始化脚本没有加 `$jsonSchema` validator,避免校验开销干扰写入对比); - 查询都要返回 `total`:MySQL 走 `count(*)`,MongoDB 走 `countDocuments`,两者的代价模型不同; - MySQL 默认 `innodb_flush_log_at_trx_commit=1`(每次提交刷盘),这是单条写入延迟的主要来源,属于 MySQL 的真实行为而非参数调优差异。 ## 8. 安全 仓库中不含任何账号密码:数据库地址、账号、口令全部走环境变量(`deploy/.env` 已在 `.gitignore` 中)。