无 NVLink 多卡场景的本地大模型部署调优决策库:并行策略、通信优化、量化选型、推测解码、KV 缓存。每条结论都标注依据等级(实测 / 可推导 / 待测)与可复现条件。
大模型私有化交付操作手册:环境勘察 → 方案设计 → 实施部署 → 压测调优 → 验收 → 运维排障,含交付物模板与检查清单
大模型推理压测与评测平台:vLLM/Ollama 多引擎对比、并发压测 (吞吐/TTFT/P99)、显存占用曲线、FP16/INT8/AWQ 量化横向评测、自动生成对比报告、Prometheus/Grafana 监控面板