同步操作将从 顾真牛/ai00_rwkv_server 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
AI00 RWKV Server
是一个基于RWKV
模型的推理API服务器。
支持VULKAN
推理加速,可以在所有支持VULKAN
的GPU上运行。不用N卡!!!A卡甚至集成显卡都可加速!!!
无需臃肿的pytorch
、CUDA
等运行环境,小巧身材,开箱即用!
兼容OpenAI的ChatGPT API接口。
100% 开源可商用,采用MIT协议。
如果您正在寻找一个快速、高效、易于使用的LLM API服务器,那么AI00 RWKV Server
是您的最佳选择。它可以用于各种任务,包括聊天机器人、文本生成、翻译和问答。
立即加入AI00 RWKV Server
社区,体验AI的魅力!
交流QQ群:30920262
RWKV
模型,具有高性能和准确性VULKAN
推理加速,不用该死的CUDA
也能享受GPU加速!支持A卡、集成显卡等一切支持VULKAN
的GPUpytorch
、CUDA
等运行环境,小巧身材,开箱即用!直接从 Release 下载最新版本
下载模型后把模型放在assets/models/
路径,例如assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
在命令行运行
$ ./ai00_rwkv_server --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
打开浏览器,访问WebUI
http://127.0.0.1:65530
克隆本仓库
$ git clone https://github.com/cgisky1980/ai00_rwkv_server.git
$ cd ai00_rwkv_server
下载模型后把模型放在
assets/models/
路径下,例如assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
编译
$ cargo build --release
编译完成后运行
$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
打开浏览器,访问WebUI
http://127.0.0.1:65530
--model
: 模型路径--tokenizer
: 词表路径--port
: 运行端口--quant
: 指定量化层数API 服务开启于 65530 端口, 数据输入已经输出格式遵循Openai API 规范。
/v1/models
/models
/v1/chat/completions
/chat/completions
/v1/completions
/completions
/v1/embeddings
/embeddings
text_completions
和chat_completions
sse
推送embeddings
Batch serve
并行推理int8
量化支持SpQR
量化支持LoRA
模型支持LoRA
模型热加载、切换我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣,请加入我们!
无论你的技能水平如何,我们都欢迎你加入我们。你可以通过以下方式加入我们:
我们迫不及待地想与你合作,让这个项目变得更好!希望项目对你有帮助!
顾真牛 📖 💻 🖋 🎨 🧑🏫 |
研究社交 💻 💡 🤔 🚧 👀 📦 |
josc146 🐛 💻 🤔 🔧 |
l15y 🔧 🔌 💻 |
来自 QQ 群
来自 Github
来自 Discord
我们很感激您的帮助,我们很高兴能与您合作。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。