代码拉取完成,页面将自动刷新
可图大模型是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。Kolors 在数十亿图文对下进行训练,在视觉质量、复杂语义理解、文字生成(中英文字符)等方面,相比于开源/闭源模型,都展示出了巨大的优势。同时,Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。
参考实现:
url=https://github.com/Kwai-Kolors/Kolors
commit_id=0fafa56a76b7acf1e147b153d1e7b8fd65f9055b
1.联网情况下,预训练模型会自动下载。
2.无网络情况下,用户可以访问huggingface官方下载,namespace为 Kwai-Kolors/Kolors-diffusers。注意如果本地下载权重需要将权重路径传入到infer_kolors_fp16.py中。
请参考昇腾社区中《Pytorch框架训练环境准备》文档搭建昇腾环境,本仓已支持表2中软件版本。
表 2 昇腾软件版本支持表
软件 | 版本 | 安装指南 |
---|---|---|
Python | 3.8 | |
Driver | AscendHDK 24.1.RC3 | 《驱动固件安装指南 》 |
Firmware | AscendHDK 24.1.RC3 | |
CANN | CANN 8.0.RC3 | 《CANN 软件安装指南 》 |
Torch | 2.1.0 | 《Ascend Extension for PyTorch 配置与安装 》 |
Torch_npu | release v6.0.RC3 |
torch npu 与 CANN包参考链接:安装包参考链接
```shell
# python3.8
conda create -n kolors python=3.8
conda activate kolors
# 安装 torch
pip install torch-2.1.0-cp38-cp38m-manylinux2014_aarch64.whl
pip install apex-0.1_ascend*-cp38-cp38m-linux_aarch64.whl
pip install diffusers==0.30.0 accelerate==0.27.2 transformers==4.42.4 torchvision==0.16.0
```
克隆仓库到本地服务器
# 克隆仓库
git clone --branch 1.0.RC3 https://gitee.com/ascend/MindSpeed-MM.git
cd examples/diffusers/kolors
运行推理的脚本
# 将下面环境变量路径修改为真实路径,下面为参考路径
source /usr/local/Ascend/ascend-toolkit/set_env.sh
python infer_kolors_fp16.py
代码涉及公网地址参考 public_address_statement.md
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。