为革命保护视力, 前往右上角头像 -> 主题 -> 暗黑模式 保护好你的24K钛合金眼
@aixcoder-model
aixcoder-model 暂无简介
aiXcoder 7B 代码大型语言模型的官方仓库
最近一年贡献:0 次
最长连续贡献:0 日
最近连续贡献:0 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。
我们测过的显卡: A100-40GB/80GB A800-40GB/80GB A30-24GB V100-32GB RTX4090-24GB RTX3090-24GB
我们推荐您在24G及以上显存的GPU卡上进行部署,如果您的GPU显存不足24G,则需要量化部署(例如利用Huggingface自带的 BitsAndBytes量化方案),量化后权重可以压缩至7G左右,然后您可以根据显存余量调整序列长度。