# BCY-vllm **Repository Path**: BraveCao/BCY-vllm ## Basic Information - **Project Name**: BCY-vllm - **Description**: 面向 DGX Spark 双机集群的 vLLM 部署、监控与运维:大屏观测、引擎切换、一键还原 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2026-11-09 - **Last Updated**: 2026-11-09 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # DGX Fleet Monitor 双节点(dgx1101 + dgx1102)DGX Spark 可视化监控大屏,复刻 NVIDIA Sync 设备监控风格。 - **设备监控(双节点一屏)**:CPU 利用率 / 20 核热力图、统一内存、GPU 利用率、设备温度、设备功耗、磁盘占用、CPU 趋势图。 - **引擎控制**:vLLM / sglang 切换,模型下拉选择,启动 / 停止 / 加载模型。 - **实时引擎状态**:服务模型、运行/等待请求数、KV 缓存占用、吞吐(token/s)、各节点容器运行状态。 ## 架构(零第三方 Python 依赖,纯标准库) - `backend/server.py`:FastAPI 风格的后端(`http.server`)。后台线程定时采集两台设备指标 + 抓取 vLLM `/metrics`,并封装 `docker compose` 控制。 - `backend/collect_node.py`:单节点主机指标采集(CPU/内存/GPU/磁盘),本地直接跑、远程经 ssh 管道运行。 - `frontend/`:单页大屏(原生 JS + ECharts),后端不可达时自动回退内置示例数据。 - `config.json`:节点、模型、引擎端口等配置。 ## 部署 ```bash ./deploy.sh dgx1101 # 同步到 1101 并安装 systemd 服务(开机自启) ``` 服务监听 `0.0.0.0:8899`。 ## 配置说明(config.json) - `nodes`:两台节点;`headless` 表示 worker(不暴露 8888),`local` 表示后端所在节点。 - `models`:模型清单。每个模型提供启动参数(`DSPARK_MODEL` / `DSPARK_REVISION` / `SERVED_MODEL_NAME` / `MAX_MODEL_LEN` / `GPU_MEMORY_UTILIZATION` 等)。**新增模型 = 往 `models` 数组加一项**。 - `engine.engines`:`vllm`(8888)与 `sglang`(30000)的 API 地址。装好 sglang 后,在大屏上切到 SGLang 标签即可;对应端口配好了就能显示。 ## 说明 - GB10 为统一内存,`nvidia-smi` 无独立显存列,因此“GPU 显存”以 vLLM `kv_cache_usage_perc` 为准(页面已体现)。 - vLLM 集群由 `docker compose`(项目 `deepseek-v4-flash`)管理,控制操作即在该 compose 上覆盖环境变量实现。