# 织云 LoomNode

**Repository Path**: NorthGod_BFDG/LoomNode

## Basic Information

- **Project Name**: 织云 LoomNode
- **Description**: 内网异构显卡聚合推理集群 · OpenAI 兼容 · 生产级容错
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-22
- **Last Updated**: 2026-07-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<div align="center">

# 织云 Loom

**把一屋子杂牌显卡，织成一朵能跑大模型的云。**

将一个内网（如网吧 LAN）里的异构 NVIDIA 显卡聚合成一个集群，对外提供 OpenAI 兼容 API；节点随时可来可走，服务不中断。

[English](./README.en.md) · [技术亮点](./docs/HIGHLIGHTS.md) · [推理引擎](./docs/ENGINE.md) · [架构总览](./docs/ARCHITECTURE.md) · [路线图](./docs/ROADMAP.md) · [开发手记](./docs/JOURNEY.md) · [常见问题](./docs/FAQ.md)

> 💡 **两个月 · 一台电脑 · 一个 Claude** —— 我负责定架构、明确目标、做关键判断，代码实现交给 Claude，在课业缝隙里把它从零做了出来（中间还摸鱼玩了两礼拜）。**一个开发者 + 一个 AI，到底能走多远？** 答案在 👉 [技术亮点](./docs/HIGHLIGHTS.md) 与 [开发手记](./docs/JOURNEY.md)。

> ⚠️ **当前阶段：社区预热**。本仓目前只放公开文档，源代码尚未发布。
> 我们在打磨开源边界、授权协议与发布前置事项。欢迎 Star / Watch 关注进展，欢迎在 Issues 区交流想法。

</div>

---

## ✨ 亮点速览

- **和 vLLM 打平** —— 稠密 8B（bf16）单卡对跑官方 vLLM，中低并发略微领先（N=1 `89` vs `80`、N=32 `2403` vs `2178`），高并发 vLLM 反超。
- **从 Blackwell 到 Volta** —— 一套引擎跑遍新老架构的 NVIDIA 卡（RTX 5090 / Tesla V100），还能把新老卡**混在一个集群里跨机协同**。
- **量化塞大模型** —— 多格式量化（int8 / int4 / fp8 + KV 量化）让单张消费级卡跑起 **30B 级 MoE**、int4 下撑起 **128K** 长上下文。
- **掉节点不掉服务** —— 主节点被杀约 6.7s **零丢失**切备份；流式生成中途节点死，自动换备份**无损续跑**。

> 数字都来自真机实测。完整基准与能力见 👉 [技术亮点](./docs/HIGHLIGHTS.md) · [推理引擎](./docs/ENGINE.md)。

---

## 这是什么

**织云 Loom** 是一套面向**易失、异构算力**的大模型推理编排系统。

它解决的问题很具体：你手上有一批**型号各异、随时可能被占用或下线**的消费级 NVIDIA 显卡（比如网吧里的 5060 / 5070 / 5080），单张卡装不下一个大模型，凑在一起又是一盘散沙。织云把它们在**内网局域网内**聚合成一个统一的推理集群：

- **对外**：一个标准的 OpenAI 兼容 API 端点，应用无需任何改造即可接入。
- **对内**：自动把模型按层切分、分布到多张卡上协同推理（流水线并行 PP 在内网 LAN 内完成）。
- **容错**：某张卡被玩家占用、断电、崩溃，集群自动绕开它继续服务，请求不掉。

## 为什么是"内网"

大模型的流水线并行对节点间往返延迟极其敏感。公网跨地域的几十毫秒 RTT 会被流水线深度逐级放大，单请求延迟被物理锁死——这也是业界同类公网方案普遍碰壁的地方。

而**一个内网（网吧 LAN）里 RTT 约 0.5ms**，交互式推理才真正成立。一座装了 50 台 5080 的网吧，闲时显存总量可观，足以跑起中等规模的主流模型。织云的定位，就是把这些**本就存在、却闲置的本土算力**唤醒。

## 它能做什么

- 🧩 **异构聚合**：不要求显卡型号甚至世代一致，按各卡实际显存与算力自动分配模型层。
- 🔀 **混合架构**：从最新的 Blackwell（RTX 5090）到多年前的 Volta（Tesla V100），一套引擎自动适配，新老卡还能混在一个集群里跨机协同。
- 🎛️ **多格式量化**：权重 bf16 / int8 / int4 / fp8，KV 缓存 fp8 / int8 / int4，用更小的显存跑更大的模型、更长的上下文。
- 🔌 **OpenAI 兼容**：`/v1/chat/completions` 等标准接口，现有 SDK / 工具链零改造接入。
- 🛡️ **易失容错**：面向"节点随时掉线"设计的层粒度冗余与故障转移，掉节点不掉服务。
- 🏗️ **两层拓扑**：全局网关 → 各集群调度器 → 集群内多模型；流水线并行只在集群内网跑，广域网只传请求与生成的 token。
- 🖥️ **桌面客户端**：节点端与集群控制器端均为图形化桌面应用，接入、监控、运维开箱即用。
- 📊 **生产化运维**：模型上下线、维护模式、节点信任管理、内置推理测试等运维能力。

> 各类量化、长上下文、混合架构、跨机调度的**实现细节**将在正式开源时随代码一并说明，此处不展开；能力与真机数字见 [推理引擎](./docs/ENGINE.md)。

## 架构一览

织云采用「**Go 控制面 + 极简推理数据面**」的分层设计：节点上只跑两个进程——一个负责所有网络与编排的 Go 守护进程，一个只做 GPU 前向计算的 Python 推理进程。请求自带完整路由信息，调度器不在请求关键路径上。

详见 [架构总览](./docs/ARCHITECTURE.md)。

## 当前状态

| | |
|---|---|
| 阶段 | 🔥 **社区预热**（文档先行，代码待发布） |
| 引擎 | 自研编排层 + 激进复用业界成熟算子；稠密 8B 已与 vLLM 打平 |
| 架构支持 | Blackwell（SM120）→ Volta（SM70），新老卡可混跑 |
| 量化 | 权重 bf16 / int8 / int4 / fp8；KV 缓存 fp8 / int8 / int4 |
| 客户端 | 节点端 / 集群控制器端 桌面应用 |
| 接口 | OpenAI 兼容 |

我们采取**诚实的早期姿态**：这是一个仍在快速演进的 0.x 项目，协议可能发生破坏性变更。开源后初期为 *source-available + 欢迎贡献*，但**不承诺 Issue / PR 的响应时限**。

## 路线图

详见 [路线图](./docs/ROADMAP.md)。简要：先发布可自托管的社区版（单层模式：调度器 + 集群网关 + 节点），再逐步完善安装器与文档。

## 开发手记

织云走到今天，绕过的弯路远比走对的路多——fork 成熟引擎撞墙、被物理学逼着从公网转向内网、无数个跨机调试的深夜。这些**踩坑与转向**的真实记录，我们写在了 👉 [**开发手记 · 心路历程**](./docs/JOURNEY.md)。如果你也在做类似的事，希望它能让你少熬几个夜。

想看这两个月到底攒下了哪些硬货（数字 + 技术亮点）？👉 [**技术亮点**](./docs/HIGHLIGHTS.md)。

## 自托管 vs 商业

织云规划**双产品线**，边界从第一天就讲清楚：

- **自托管社区版（开源）**：节点、集群调度器、集群网关、推理引擎、桌面客户端。你可以完全自建一个内网集群，自己用。
- **商业 SaaS（闭源）**：面向终端用户的全局接入层（账户、计费、跨集群调度、风控等）不开源，是项目的收入来源。

开源的集群侧本身不含任何计费 / 资金逻辑；是否接入商业层完全可选。这条边界也是我们维持项目可持续的方式——欢迎自托管自用，也欢迎一起把生态做大。

## 参与 / 关注

- ⭐ **Star / Watch** 本仓，第一时间获知开源发布。
- 💬 在 **Issues** 区交流使用场景、想法、问题。
- 🤝 想参与贡献？先读 [CONTRIBUTING](./CONTRIBUTING.md)（贡献者协议与流程待发布时定稿）。

## 授权

> **授权协议确定中。** 代码尚未以任何开源协议发布。
> 我们倾向于采用能防止云厂商直接转售托管服务、同时保持开源开放的协议（如 AGPLv3 或 BSL），正与法律顾问就 *协议 × 专利 × 发布时点* 综合确认。在正式 `LICENSE` 文件发布前，本仓内的文档仅供参考，不构成任何开源授权。

## 品牌与版权

- **公司**：陕西千翎科技有限公司（Shaanxi Qianling Technology Co., Ltd.）
- **品牌叙事**：千羽织云 —— *A thousand plumes weave the cloud*
- **产品**：织云 Loom

「织云 / Loom」及相关标识为陕西千翎科技有限公司所有。

© 2026 陕西千翎科技有限公司 · 保留所有权利