该项目是用 Python 实现的轻量级 vLLM(大语言模型推理引擎)项目,核心代码仅 1000 多行。它结构清晰、易于阅读,推理速度媲美 vLLM 原版,并集成了前缀缓存(Prefix Caching)、张量并行(Tensor Parallelism)和 Torch 编译等推理优化技术。
最近更新: 3个月前该项目是帮助初学习者系统地学习大语言模型(LLM)原理与实践的教程。通过详细的教程和实战案例,循序渐进地带领读者深入了解自然语言处理(NLP)基础、Transformer 架构、预训练语言模型的基本原理,并动手实现和训练自己的大语言模型。
最近更新: 3个月前精选的优秀模型上下文协议 (MCP) 服务器列表。
最近更新: 3个月前面向开发者的 LLM 入门教程,吴恩达大模型系列课程中文版 https://datawhalechina.github.io/llm-cookbook/
最近更新: 5个月前MiniMind 开源项目旨在完全从0开始,最快仅用3小时!即可训练出仅为26.88M大小的微型语言模型MiniMind。
最近更新: 5个月前😱 从源码层面,剖析挖掘互联网行业主流技术的底层实现原理,为广大开发者 “提升技术深度” 提供便利。目前开放 Spring 全家桶,Mybatis、Netty、Dubbo 框架,及 Redis、Tomcat 中间件等
最近更新: 1年多前一个涵盖六个专栏:Spring Boot 2.X、Spring Cloud、Spring Cloud Alibaba、Dubbo、分布式消息队列、分布式事务的仓库。希望胖友小手一抖,右上角来个 Star,感恩 1024
最近更新: 1年多前🍬小而全的Java工具类库,使Java拥有函数式语言般的优雅,让Java语言也可以“甜甜的”。
最近更新: 1年多前