# 人工智能第八周作业

**Repository Path**: HundredReview/AIWeek8

## Basic Information

- **Project Name**: 人工智能第八周作业
- **Description**: No description available
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-12-07
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 人工智能第八周作业

由于Tinymind最近无法正常运行slim框架，于是在线下运行，使用的是slim的flowers数据集。程序默认执行的是30次epoch，由于本地计算性能有限，只做了5次epoch，验证结果已截图上传。

#### DenseNet

在深度学习网络中，随着网络深度的加深，梯度消失问题会愈加明显，目前很多论文都针对这个问题提出了解决方案，比如ResNet，Highway Networks，Stochastic depth，FractalNets等，尽管这些算法的网络结构有差别，但是核心都在于：create short paths from early layers to later layers。延续这个思路，那就是在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来！

DenseNet的几个优点： 
1、减轻了vanishing-gradient（梯度消失） 
2、加强了feature的传递 
3、更有效地利用了feature 
4、一定程度上较少了参数数量

#### Growth
假设每个Hl产生k个feature-maps，那么第l层的输入feature-maps数为：k0 + k*(l-1)，k0为输入层通道数。DenseNet和其它网络结构相比一个重要的区别就是它的层数非常的少，例如:k = 12。k作为一个超参数，我们将其称之为网络的增长率(growth rate)。实验表明一个较小的增长率就可以取得极好的结果。增长率管理着每个层新的信息对全局状态的贡献。


#### Compression
为进一步提高网络的紧密度，我们可以在转换层(transition layers)减少feature-maps的数量。我们引入一个压缩因子，当输入feature-maps数为m时，输出为。压缩因子小于1的DenseNet我们称为DenseNet-C。个人觉得可能对过拟合有一定的帮助。