# 深度学习learning

**Repository Path**: kevin_6366/deep-learning

## Basic Information

- **Project Name**: 深度学习learning
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-06-22
- **Last Updated**: 2025-06-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 实习前练习笔记：深度学习基础模型

## 目录
- [简介](#简介)
- [卷积神经网络 (CNN)](#卷积神经网络-cnn)
  - [原理](#原理-1)
  - [结构](#结构)
  - [应用场景](#应用场景)
  - [代码实现](#代码实现)
- [长短期记忆网络 (LSTM)](#长短期记忆网络-lstm)
  - [原理](#原理-2)
  - [结构](#结构-1)
  - [应用场景](#应用场景-1)
  - [代码实现](#代码实现-1)
- [Transformer 模型](#transformer-模型)
  - [原理](#原理-3)
  - [结构](#结构-2)
  - [应用场景](#应用场景-2)
  - [代码实现](#代码实现-2)
- [总结](#总结)

## 简介
**> 简单的练习与熟悉一下pytorch框架**
## 卷积神经网络 (CNN)
### 结构
- 卷积层、池化层、全连接层
### 原理
- 像一个个小格子一样对图片矩阵进行卷积操作，**提取特征**。
- 然后在池化层中对特征进行**降维**。（可以理解把大矩阵变成小矩阵，多个位置的信息变成一个值）
- 全连接层负责将前面提取到的特征进行整合并输出最终的分类结果，**即把矩阵拆成向量**，然后连接在一起）

### 常用的训练步骤（在这里以CNN为例）
- 定义卷积神经网络。
- 定义损失函数和优化器。
- 训练模型。
- 其中，训练模型的流程包括：输入数据 x → 模型推理得到预测输出  **（卷积层 → 激活函数 → 池化层 → 全连接层）** → 计算预测值与真实标签之间的损失 → 通过反向传播计算梯度并优化参数 → 更新模型参数 → 重复上述步骤，直到训练结束。
- 测试模型，保存模型，模型预测/评估。


### 应用场景
- **图像分类**、目标检测、图像生成等。
### 代码实现
- 引用 `CNN/CNN.py` 文件中的代码。
- 注释说明每个部分的功能。

## 长短期记忆网络 (LSTM)



### 原理
- LSTM 的核心思想：门控机制（输入门、遗忘门、输出门）。
- 我们无需知道LSTM的内部结构，只要知道LSTM的输入、状态更新、输出流程。
- 输入的参数为input_size，hidden_size，num_layers，batch_first
- input_size：输入向量的维度
- hidden_size：隐藏层的维度,隐藏层的维度大小可以改变模型对于复杂序列的预测能力
- num_layers：LSTM 的层数
- batch_first：输入张量的第一个维度是否是 batch_size，一般为 True
- 如何解决 RNN 中的梯度消失问题。

### 常用的训练步骤（在这里以LSTM为例）
- 定义一下LSTM
### 应用场景
- 文本生成、时间序列预测、语音识别等。
- 典型案例分析。
###  这里需要强调，LSTM在我的代码中用来进行图像识别，是强行把图片数据转成序列的形式，虽然能训练，但是训练效果不是很理想，只是作为测试案例。

### 代码实现
- 引用 `LSTM/LSTM.py` 文件中的代码。
- 注释说明每个部分的功能。

## Transformer 模型

### 原理
- 自注意力机制（Self-Attention）的基本概念。
- 编码器-解码器架构。

### 结构
- 编码器和解码器的组成模块。
- 多头注意力、位置编码、前馈网络的作用。

### 应用场景
- 机器翻译、文本摘要、问答系统等。
- 典型案例分析。

### 代码实现
- 提供一个简单的 Transformer 示例代码。
- 或者引用外部资源进行补充。

## 总结
- 对比 CNN、LSTM 和 Transformer 的优缺点。
- 学习心得与未来计划。