29 Star 148 Fork 52

太初/紫东太初多模态大模型

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

视觉预训练模型

模型下载

以下模型提取码都是1234

模型 预训练轮数 用途 下载链接
DeiT-S 100epoch 分类 百度云
DeiT-S 300epoch 分类 百度云
Swin-T 100epoch 分类 百度云
Swin-T 100epoch 检测 百度云
DeiT-S 100epoch 分割 百度云

环境要求

软件环境:pytorch1.8

硬件环境:NVIDIA A100/V100,AMD DCU

下游任务评估

模型 预训练轮数 评估方式 结果
DeiT-S 100epoch 线性评估 75.0%
DeiT-S 300epoch 线性评估 76.9%
Swin-T 100epoch 线性评估 73.8%
Swin-T 100epoch 检测 42.7 mAP
DeiT-S 100epoch 分割 74.04 mIoU

线性评估

python -m torch.distributed.launch --nproc_per_node=1 eval_linear.py --pretrained_weights /path/to/checkpoint.pth --checkpoint_key student--data_path /path/to/imagenet

目标检测

git clone https://github.com/SwinTransformer/Swin-Transformer-Object-Detection
# single-gpu testing
python tools/test.py <CONFIG_FILE> <DET_CHECKPOINT_FILE> --eval bbox segm
# for example
python tools/test.py configs/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py <DET_CHECKPOINT_FILE> --eval bbox segm

语义分割

git clone https://github.com/fudan-zvg/SETR
# single-gpu testing
./tools/dist_test.sh ${CONFIG_FILE} ${CHECKPOINT_FILE} ${GPU_NUM}  [--eval ${EVAL_METRICS}]
# For example, test a SETR-PUP on Cityscapes dataset with 8 GPUs
./tools/dist_test.sh configs/SETR/SETR_PUP_768x768_40k_cityscapes_bs_8.py \
work_dirs/SETR_PUP_768x768_40k_cityscapes_bs_8/iter_40000.pth \
8 --eval mIoU

文献引用

@article{li2021mst,
  title={MST: Masked Self-Supervised Transformer for Visual Representation},
  author={Li, Zhaowen and Chen, Zhiyang and Yang, Fan and Li, Wei and Zhu, Yousong and Zhao, Chaoyang and Deng, Rui and Wu, Liwei and Zhao, Rui and Tang, Ming and others},
  journal={arXiv preprint arXiv:2106.05656},
  year={2021}
}
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/zidongtaichu/multi-modal-models.git
git@gitee.com:zidongtaichu/multi-modal-models.git
zidongtaichu
multi-modal-models
紫东太初多模态大模型
master

搜索帮助