llm.c 是一个简单、纯粹的 C/CUDA LLM 训练项目。不需要使用 245MB 的 PyTorch 或 107MB 的 cPython 就能用纯 C 语言训练 LLM。 更让人佩服的是，LLM.c 仅用约 1000 行干净的代码即可在 CPU/fp32 上实现 GPT-2 训练。它可...
最近更新: 5个月前nanochat 是训练 LLM 的最简单实验性工具。它设计为可在单个 GPU 节点上运行，代码简洁且易于修改，涵盖了 LLM 的所有主要阶段，包括分词、预训练、微调、评估、推理和聊天用户界面。
最近更新: 5个月前将Claude Code转换为结构化开发平台：SuperClaude是一个元编程配置框架，通过行为指令注入和组件编排，将Claude Code转换为结构化开发平台。它提供系统化的工作流自动化，配备强大的工具和智能代理。
最近更新: 5个月前Shimmy 是一个超轻量级（仅 5MB）的本地 AI 推理服务器，具备与 OpenAI API 兼容的接口、自动模型发现、热切换以及工具调用功能。采用 Rust 编写的单二进制文件方案，支持 GGUF 模型和 LoRA 微调适配器，完全免费且永久开源。
最近更新: 10个月前高吞吐、低内存大模型推理引擎，其设计初衷直击行业痛点：传统推理框架在处理多请求并发时，普遍存在KV缓存内存碎片化严重、GPU利用率低下等问题。通过 PagedAttention 这一革命性技术，vLLM实现了近零浪费的KV缓存管理，同时完美兼容OpenAI API协议，让开发者无需改造现有生态...
最近更新: 11个月前一个 “模型即服务”(MaaS) 平台，旨在汇集来自 AI 社区的最先进的机器学习模型，并简化在实际应用中使用 AI 模型的流程。ModelScope 库使开发人员能够通过丰富的 API 设计执行推理、训练和评估，从而促进跨不同 AI 领域的最先进模型的统一体验。
最近更新: 11个月前OpenAI Python 库是一个官方提供的 Python 3.8+ 版本兼容的客户端库，旨在方便开发者通过 Python 程序访问 OpenAI 的 REST API。它提供了对 OpenAI 各种模型和服务的接口支持，包括文本生成、聊天、图像处理、音频处理等功能，支持同步和异步操作模式。...
最近更新: 1年前一款专为 Prompt 编写者设计的工具，它支持多种基于 Prompt 的 AI 应用，例如 Stable Diffusion、ChatGPT 和 GitHub Copilot 等。 使用 ClickPrompt，您可以轻松地查看、分享和一键运行这些模型，同时提供在线的 Prompt 生成器，...
最近更新: 1年多前该项目能够利用日常家用设备（如手机、笔记本电脑、台式机等）来搭建家庭 AI 集群。它通过整合现有的设备，无需昂贵硬件，即可构建一个低成本、可扩展的 GPU 计算集群，支持动态模型分区、自动发现设备、ChatGPT API、P2P 连接和多种推理引擎
最近更新: 1年多前Kernel Memory（KM）是一种多模态AI服务，RAG 架构，使用 LLM 和自然语言索引和查询任何数据、跟踪来源、显示引用、异步内存模式。该存储库提供了特定 AI 和 LLMs 应用场景中内存的最佳实践和参考架构。
最近更新: 接近2年前
