# vision-transformers-cifar10

**Repository Path**: pprp/vision-transformers-cifar10

## Basic Information

- **Project Name**: vision-transformers-cifar10
- **Description**: vision_transformer和vgg做cifar10图片分类
对比与A在相同参数量下，使用无transformer的神经网络B，在CIFAR10上的图像分类的性能。
对比与A在相同浮点数计算量(FLOPS)下，使用无transformer的神经网络C，在CIFAR10上的图像分类的性能。
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-11-22
- **Last Updated**: 2021-12-02

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# vision-transformers-cifar10

#### 介绍
vision_transformer和vgg做cifar10图片分类
对比与A在相同参数量下，使用无transformer的神经网络B，在CIFAR10上的图像分类的性能。
对比与A在相同浮点数计算量(FLOPS)下，使用无transformer的神经网络C，在CIFAR10上的图像分类的性能。

#### 模型参数下载 》》放置在checkpoint目录下
百度网盘
链接：https://pan.baidu.com/s/1wzFdwcgrNJZo2gU7PhCy5Q 
提取码：84ll 

#### 数据下载 》》 放置在data目录下(已有)
链接：https://pan.baidu.com/s/1p_0NXxfYvMKNnp7uDc182w 
提取码：vvpq


#### 训练模型Usage

激活虚拟环境：
source activate vision_transformer

训练初始的ViT网络（默认patchsize=4）：
python train_cifar10.py

训练初始的ViT网络（patchsize=2）：
python train_cifar10.py --patch 2

把网络patch to embedding的方式由linear变成conv:
python train_cifar10.py --net cnn_vit

与cnn_vit params相同的vgg:
python train_cifar10.py --net vgg_params

与cnn_vit FLOPs相同的vgg:
python train_cifar10.py --net vgg_flops



#### 超参设置

 image_size = 32,
 num_classes = 10,
 dim = 512,
 inner_dim = 64，
 layers = 6,
 heads = 8,
 mlp_dim = 512,
 dropout = 0.1,
 emb_dropout = 0.1,
 batch_size = 64,
 n_epochs = 100,
 batch_size_test = 100
 
 

#### 可视化result

查看tensorboard可视化结果
tensorboard --logdir="tensorboard-output" --host=127.0.0.1
打开网址127.0.0.1:6006


#### 代码参考来源
https://github.com/kentaroy47/vision-transformers-cifar10