29 Star 148 Fork 52

太初/紫东太初多模态大模型

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

图像-文本预训练模型

模型下载

提供模型下载链接及描述(可用表格)

模型 用途 下载链接
Light_Clip 检索 百度云(提取码:clip)
Light_VQGan_Dalle 图像生成 百度云(提取码:dall)

环境要求

软件环境:pytorch1.8

硬件环境:NVIDIA V100

若需要使用多节点测试,可安装deepspeed框架:

pip install deepspeed

详细方法参见deepspeed官网

图像检索

下载上述Light_CLIP模型文件model.pt下载至Light_CLIP文件夹下,运行以下脚本

python test.py
#output: Image probs: [[0.5521732 0.4478268]]

图像生成

下载上述Light_VQGan_Dalle模型,将vqgan模型(提取码:iivw)下载至vqgan文件夹下,将bert-base-chinese(提取码:feur)、clip模型(同上述模型)下载至clip文件夹下。

运行:

cd Light_VQGan_Dalle

# single-gpu testing
./generate.sh <Light_VQGan_Dalle_model_path> <output_image_folder> <img_number> <generate_batch_size> <text_file_path>

# for example
./generate.sh ./dalle_small_model_pre_0921_lr4.5e-4_epoch6_data_point5762880.pt ./output_images 128 12 ./test_dalle.txt

# multi-gpu testing
./generate_multinodes.sh <hostfile_path> <Light_VQGan_Dalle_model_path> <output_image_folder> <img_number> <generate_batch_size> <text_file_path>

# for example
./generate_multinodes.sh ./hostfile.txt ./dalle_small_model_pre_0921_lr4.5e-4_epoch6_data_point5762880.pt ./output_images 128 12 ./test_dalle.txt

致谢

DALLE-pytorch, clip-training

马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/zidongtaichu/multi-modal-models.git
git@gitee.com:zidongtaichu/multi-modal-models.git
zidongtaichu
multi-modal-models
紫东太初多模态大模型
master

搜索帮助