代码拉取完成，页面将自动刷新
手把手带你实战Transformers课程的代码仓库
基础入门篇：Transformers入门，从环境安装到各个基础组件的介绍，包括Pipeline、Tokenizer、Model、Datasets、Evaluate、Trainer，并通过一个最基本的文本分类实例将各个模块进行串讲
实战演练篇：Transformers实战，通过丰富的实战案例对Transformers在NLP任务中的解决方案进行介绍，包括命名实体识别、机器阅读理解、多项选择、文本相似度、检索式对话机器人、掩码语言模型、因果语言模型、摘要生成、生成式对话机器人
高效微调篇：Transformers模型高效微调，以PEFT库为核心，介绍各种常用的参数高效微调方法的原理与实战，包括BitFit、Prompt-tuning、P-tuning、Prefix-Tuning、Lora和IA3
低精度训练篇：Transformers模型低精度训练，基于bitsandbytes库，进行模型的低精度训练，包括LlaMA2-7B和ChatGLM2-6B两个模型的多个不同精度训练的实战演练，包括半精度训练、8bit训练、4bit训练（QLoRA）
分布式训练篇：Transformers模型分布式训练，基于accelerate库讲解transformers模型的分布式训练解决方案，介绍分布式训练的基本原理以及accelerate库的基本使用方式，包括与Deepspeed框架的集成
对齐训练篇: ...
性能优化篇: ...
系统演示篇: ...
课程视频发布在B站与YouTube，代码与视频会逐步进行更新，目前课程主要更新在B站，YouTube后续会持续更新
01- 基础知识与环境安装
02 基础组件之 Pipeline |
03 基础组件之 Tokenizer
04 基础组件之 Model(上) 基本使用
04 基础组件之 Model(下) BERT文本分类代码实例
05 基础组件之 Datasets
06 基础组件之 Evaluate
07 基础组件之 Trainer
08 基于 Transformers的 NLP解决方案
09 实战演练之 命名实体识别
10 实战演练之 机器阅读理解（上，过长截断策略）
10 实战演练之 机器阅读理解（下，滑动窗口策略）
11 实战演练之 多项选择
12 实战演练之 文本相似度（上，基于交互策略）
12 实战演练之 文本相似度（下，基于匹配策略）
13 实战演练之 检索式对话机器人
14 实战演练之 预训练模型
15 实战演练篇之 文本摘要（上，基于T5模型）
15 实战演练篇之 文本摘要（下，基于GLM模型）
16 实战演练篇之 生成式对话机器人（基于Bloom）
17 参数高效微调与BitFit实战
18 Prompt-Tuning 原理与实战
19 P-Tuning 原理与实战
20 Prefix-Tuning 原理与实战
21 LoRA 原理与实战
22 IA3 原理与实战
23 PEFT 进阶操作
24 低精度训练与模型下载
25 半精度模型训练（上，基于LLaMA2的半精度模型训练）
25 半精度模型训练（下，基于ChatGLM3的半精度模型训练）
26 量化与8bit模型训练
27 4bit量化与QLoRA模型训练
28 分布式训练基础与环境配置
29 Data Parallel原理与应用
30 Distributed Data Parallel原理与应用
31 Accelerate 分布式训练入门
32 Accelerate 使用进阶（上）
32 Accelerate 使用进阶（下）
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手
