38 Star 378 Fork 234

GVPAscend/MindSpeed-MM

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

Diffusers

kolors

模型介绍

可图大模型是由快手可图团队开发的基于潜在扩散的大规模文本到图像生成模型。Kolors 在数十亿图文对下进行训练,在视觉质量、复杂语义理解、文字生成(中英文字符)等方面,相比于开源/闭源模型,都展示出了巨大的优势。同时,Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。

  • 参考实现:

    url=https://github.com/Kwai-Kolors/Kolors
    commit_id=0fafa56a76b7acf1e147b153d1e7b8fd65f9055b
    

推理

权重获取

1.联网情况下,预训练模型会自动下载。

2.无网络情况下,用户可以访问huggingface官方下载,namespace为 Kwai-Kolors/Kolors-diffusers。注意如果本地下载权重需要将权重路径传入到infer_kolors_fp16.py中。

环境搭建

请参考昇腾社区中《Pytorch框架训练环境准备》文档搭建昇腾环境,本仓已支持表2中软件版本。

表 2 昇腾软件版本支持表

软件 版本 安装指南
Python 3.8
Driver AscendHDK 24.1.RC3 驱动固件安装指南
Firmware AscendHDK 24.1.RC3
CANN CANN 8.0.RC3 CANN 软件安装指南
Torch 2.1.0 Ascend Extension for PyTorch 配置与安装
Torch_npu release v6.0.RC3
  1. 三方件安装

torch npu 与 CANN包参考链接:安装包参考链接

```shell
# python3.8
conda create -n kolors python=3.8
conda activate kolors

# 安装 torch 
pip install torch-2.1.0-cp38-cp38m-manylinux2014_aarch64.whl
pip install apex-0.1_ascend*-cp38-cp38m-linux_aarch64.whl
pip install diffusers==0.30.0 accelerate==0.27.2 transformers==4.42.4  torchvision==0.16.0
```
  1. 克隆仓库到本地服务器

    # 克隆仓库
    git clone --branch 1.0.RC3 https://gitee.com/ascend/MindSpeed-MM.git
    cd examples/diffusers/kolors
    
  2. 运行推理的脚本

    # 将下面环境变量路径修改为真实路径,下面为参考路径
    source /usr/local/Ascend/ascend-toolkit/set_env.sh
    python infer_kolors_fp16.py
    
    

引用

公网地址说明

代码涉及公网地址参考 public_address_statement.md

马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/ascend/MindSpeed-MM.git
git@gitee.com:ascend/MindSpeed-MM.git
ascend
MindSpeed-MM
MindSpeed-MM
1.0.RC3

搜索帮助