在 ESP32-P4(RISC-V 32 位 MCU) 上跑微型 LLM 的 纯标量 C11 推理内核 ,以及它背后完整的宿主工具链(训练 → 量化 → 部署 → 对拍)
Last updated: 8 days ago把一台 aarch64 CPU 推理引擎的算子逐个搬上 NVIDIA GPU 的完整源码与实测记录。 本仓库是什么:上游 kestrel-llm 是纯 C11、零第三方运行时依赖的 aarch64 CPU 推理引擎;本仓库是它的 CUDA 加速后端分支,同时是《CUDA 后端迁移系列教程》(92 篇)的 配套源码 —— 迁移过程、每条候选的判否理由、真机实测证据,都在教程里逐篇记录。
Last updated: 21 days ago