# dw **Repository Path**: caiqing426/dw ## Basic Information - **Project Name**: dw - **Description**: 数仓期末大作业 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-12 - **Last Updated**: 2026-11-16 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 交付物说明(设计冻结包 v1.0) 这是给四个人的**设计基线**:第 1–5 章定稿 + 接口契约 + 分工与 Git 规范 + 空库 DDL。 按它并行开发,最后在 dev 上合并。 ## 一、包里有什么 | 路径 | 内容 | 谁用 | | --- | --- | --- | | docs/设计说明书_1-5章_v1.0.docx | 第 1–5 章定稿,含 7 张设计图(架构、需求映射、总线矩阵、概念模型、星型模型、SCD2、物理布局) | 全员必读,答辩时按此讲 | | docs/接口冻结清单.md | 六项冻结内容(表字段、代理键、SCD 规则、指标口径、视图、批次日志)+ 22 张表清单 | 全员,改接口前必查 | | docs/分工与协作规范.md | 模块归属(含“独占文件”的定义与落地)、分支模型、提交格式、冲突处理、里程碑 | 全员 | | .github/CODEOWNERS | 把独占关系写成机器可检查的规则,改别人文件会自动要求审批 | 组长配置 | | sql/00_schema.sql | 建库、五个 schema、批次日志 | CQ先执行 | | sql/01_ods.sql | ODS 三张表 | CQ | | sql/02_dwd_dims.sql | 七张维表(含 dim_station 的 SCD2 结构) | XJJ | | sql/03_dwd_facts.sql | 两张事实表 | XJJ | | sql/04_dws_ads.sql | DWS 四张、ADS 五张 | JLL | | docs/assets/*.png | 7 张图的源文件(300 dpi) | 写文档、做 PPT 时复用 | ## 二、第一天怎么用(30 分钟) ```powershell # 1. 建库建表(按顺序) cd sql sqlcmd -S localhost -E -C -f 65001 -i 00_schema.sql sqlcmd -S localhost -E -C -f 65001 -i 01_ods.sql sqlcmd -S localhost -E -C -f 65001 -i 02_dwd_dims.sql sqlcmd -S localhost -E -C -f 65001 -i 03_dwd_facts.sql sqlcmd -S localhost -E -C -f 65001 -i 04_dws_ads.sql # 2. 验证 sqlcmd -S localhost -E -C -Q "USE CitiBikeDW; SELECT s.name, COUNT(*) AS tbls FROM sys.tables t JOIN sys.schemas s ON s.schema_id=t.schema_id GROUP BY s.name;" ``` 预期:ctl 1 张、ods 3 张、dwd 9 张、dws 4 张、ads 5 张,合计 22 张。 ## 三、第一次提交 Git(每人都要做的同样动作) ```bash git clone <组内仓库地址> # 或者由组长初始化后分发 git checkout -b feat/<模块>-<代号> # 例:feat-dwd-xjj # 只改自己目录下的文件,见《分工与协作规范》第一节 git add sql/02_dwd_dims.sql git commit -m "[dwd] 新增: dim_station 增加 region_id 字段" git push origin feat/<模块>-<代号> ``` 合并到 dev 由本人发起 Pull Request,**不要直接推 dev**。周五由组长把 dev 合到 master 并打 tag。 ## 四、并行的前提与红线 - 前提:接口冻结清单六项不改语义。要改,先走《变更流程》,全员通知。 - 红线一:**一个文件只有一个负责人**,不碰别人的文件。 - 红线二:**连接管理器与项目参数只由CQ维护**,其他人只读。 - 红线三:**报表只读 ads.* 与 dws.* 的视图**,不直连 ODS 与 DWD。 - 红线四:DDL 只追加(加表、加字段),不改已发布字段的类型与含义。 ## 五、常见问题 | 问题 | 处理 | | --- | --- | | 我需要的字段清单里没有 | 找对应负责人追加,别自己 ALTER 别人的表 | | 两个人改了同一个 SSIS 包 | 包不能合并,约定一个包一个人;跨包用"执行包任务" | | 指标算出来和别人的不一样 | 先查《接口冻结清单》第四节的分母定义,口径只有一处 | | 表建完发现类型不对 | 改 DDL 后必须 DROP 重建,并通知已装载过数据的人 | | 想加一个新指标 | 走 C4 变更:先改指标字典,再改 ADS,再改报表 | ## 六、哪些东西进 Git(第一次提交清单) **进仓库的(都是文本,可 diff、可评审)**: | 类别 | 具体文件 | 为什么进 | | --- | --- | --- | | 设计文档 | docs/*.md、docs/*.docx、docs/assets/*.png | 设计基线,答辩与交接都靠它 | | 建表脚本 | sql/00_schema.sql 至 04_dws_ads.sql | 接口契约的可执行版本 | | 项目配置 | .github/CODEOWNERS、.gitignore | 协作规则,必须全员一致 | | SSIS 项目 | projects/*.dtproj、*.dtsx、SSISProject.params(不含 bin/obj) | 包是交付物,参数化配置要共享 | | 多维与报表 | projects/*.cube、*.dtsx(Analysis Services 项目)、reports/*.rdl | 报表定义是 XML,可评审 | | 脚本 | scripts/*.py、scripts/*.ps1、deploy/* | 抽取与部署,必须可复现 | | 说明 | README.md、init_repo.ps1 | 新人上手入口 | **不进仓库的(用 .gitignore 挡住)**: | 类别 | 例子 | 原因 | | --- | --- | --- | | 原始数据 | raw/*.zip、raw/csv/*.csv(单月 395 MB) | 体积超 Gitee 单文件 100 MB 限制;且数据可重新下载 | | 数据库文件 | *.bak、*.mdf、*.ldf | 二进制、体积大、不可合并 | | 日志 | logs/*.log | 每次运行都变,提交就是噪声 | | 构建产物 | bin/、obj/、.vs/、*.user、*.ispac | 编译生成,冲突的万恶之源 | | 本地配置 | .env、connectionStrings.local.* | 含账号或本机路径,不该共享 | **数据怎么共享**:放组内网盘或共享盘,目录名与月份对齐(raw/202501-citibike-tripdata.zip),README 里记录每个文件的 md5 与行数;每人本地按同一路径放好即可。 **第一次提交就一条命令**: ```powershell cd 交付物 .init_repo.ps1 -Remote https://gitee.com/<你的账号>/citibike-dw.git ``` 脚本会做四件事:`git init` → 按白名单 `git add`(不 add 数据)→ 首次提交 → 建 `dev` 分支并推送。若暂存区里出现 zip/csv/bak,脚本会直接报错中止——这是防止 300 MB 数据混进历史记录的兜底。 ## 七、脚本与执行顺序 ### 目录约定 | 前缀 | 含义 | 谁能改 | | --- | --- | --- | | sql\00 ~ 05 | 结构:建库建表、种子数据、验收。已冻结在 tag baseline-v1.1 | 只许追加,改语义要通知全员 | | sql\10 ~ 12 | 构建:装数据、清洗、质量门禁、中期验收 | 各线负责人 | | scripts\ | 下载、装载、采集脚本 | CQ | ### 一个人从零跑通的顺序 ~~~ # 一、建结构(5 个文件,各一次,约 10 秒) sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\00_schema.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\01_ods.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\02_dwd_dims.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\03_dwd_facts.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\04_dws_ads.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\05_verify.sql # 应输出 PASS # 二、装 ODS(212 万行,约 1 分钟;先确认 raw\csv 里已有三个 CSV) $env:DW_PWD = "你的 sa 密码" # 只设一次,关窗口即失效 .\scripts\load_month.cmd 202501 -User sa # 自动找该月全部 CSV 并逐个装载 # 三、构建 DWD(站点维 + 骑行事实) sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\10_build_dwd.sql # 四、质量门禁 + 中期验收 sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\11_dq_checks.sql sqlcmd -S localhost -U sa -P 你的密码 -C -f 65001 -i sql\12_verify_midterm.sql ~~~ ### 数据放哪 raw 目录不进仓库(.gitignore 已挡)。每人本地放一份: ~~~ dw\raw\202501-citibike-tripdata.zip 395 MB 原始压缩包 dw\raw\csv\202501-citibike-tripdata_1.csv 约 190 MB dw\raw\csv\202501-citibike-tripdata_2.csv 约 190 MB dw\raw\csv\202501-citibike-tripdata_3.csv 约 23 MB ~~~ 下载用 scripts\download.py 202501(16 线程,约 22 分钟)。 ### 执行顺序(硬依赖,不能换) ~~~ sql\10_build_dwd.sql # 建站点维 + 骑行事实 sql\14_xjj_station_scd2.sql # 用 GBFS 快照补容量、生成 SCD2 版本、回挂事实 sql\13_build_dws_ads.sql # 汇总,K5 依赖 14 补出来的 capacity sql\15_xjj_verify_k5.sql # 抽查某一天的站点横向周转率 ~~~ **为什么顺序固定**:10 会先清空 dwd.dim_station 再重建,此时容量为空;若先跑 14 再跑 10,容量与版本会被清掉。 **14 的前置**:ods.station_info_raw 需要有 GBFS 快照。没有的话先采集再装: ~~~ python scripts\gbfs_collect.py --once # 生成 raw\gbfs\station_info\YYYYMMDD.csv .\scripts\load_xjj_station_info.ps1 -CsvPath <该CSV> -User sa ~~~ ### DWS / ADS 构建 sql\13_build_dws_ads.sql 已按冻结结构重写,构建 4 张 DWS 与 2 张 ADS: dws.station_flow_1d、dws.station_hour_flow、dws.region_flow_1d、dws.user_weather_1d、 ads.kpi_daily、ads.station_imbalance。 未构建的两张:ads.station_health(空桩率、满桩率需水位快照)、ads.rebalance_plan(需时段标签与调度规则),等 GBFS 采集积累后补。