代码拉取完成，页面将自动刷新
Bert-Chinese-Text-Classification-Pytorch项目学习材料，补充Huggingface案例。
中文文本分类，Bert，ERNIE，Huggingface，基于pytorch，开箱即用。
推荐2080Ti及以上配置GPU，显存建议20G及以上。
从THUCNews 中抽取了20万条新闻标题，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。
类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。
数据集划分：
| 数据集 | 数据量 |
|---|---|
| 训练集 | 18万 |
| 验证集 | 1万 |
| 测试集 | 1万 |
jd-京东读书数据集，laws-法律文书，news-新闻摘要（多标签），或者按照以上数据集的格式来格式化你的中文数据集。
| 模型 | acc | 备注 |
|---|---|---|
| bert | 94.83% | 单纯的bert |
| ERNIE | 94.61% | 中文bert |
| bert_CNN | 94.44% | bert + CNN |
| bert_RNN | 94.57% | bert + RNN |
| bert_RCNN | 94.51% | bert + RCNN |
| bert_DPCNN | 94.47% | bert + DPCNN |
CNN、RNN、DPCNN、RCNN、RNN+Attention、FastText等模型效果，见仓库 。
bert模型放在 bert_pretain目录下，ERNIE模型放在ERNIE_pretrain目录下，每个目录下都是三个文件：
预训练模型下载地址：
bert_Chinese:
ERNIE_Chinese:
解压后，按照上面说的放在对应目录下，文件名称确认无误即可。
下载好预训练模型就可以跑了。
# 训练并测试：
# bert
python run.py --model bert
# bert + 其它
python run.py --model bert_CNN
# ERNIE
python run.py --model ERNIE
模型都在models目录下，超参定义和模型定义在同一文件中。
执行huggingface_example目录代码
[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[2] ERNIE: Enhanced Representation through Knowledge Integration
此处可能存在不合适展示的内容，页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容，可点击提交进行申诉，我们将尽快为您处理。
马建仓 AI 助手