# emotion_rec

**Repository Path**: googoodd/emotion_rec

## Basic Information

- **Project Name**: emotion_rec
- **Description**: 基于面部表情、语音并且语音转文字的试试情感识别
- **Primary Language**: Python
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 10
- **Forks**: 0
- **Created**: 2022-11-20
- **Last Updated**: 2025-10-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# emotion_rec

#### 介绍
基于面部表情、语音并且语音转文字的试试情感识别

#### 摘要
（1）基于CNN (Convolutional Neural Network)模型的表情情感识别方法。该方法构建了一种层次更浅、参数量更少的卷积神经网络模型，使得训练代价大大降低。通过FER2013数据集，验证了轻量型卷积神经网络的有效性，其识别准确率接近ResNet，可达到57%。
（2）基于LSTM (Long Short-Term Memory)的语音情感识别方法。该方法以LSTM模型的长期记忆功能为基准，选用CASIA中文情感数据集为训练集，通过对比实验验证了LSTM模型在语音情感识别方面的有效性，同时比较了IS09标准和IS10标准特征集，得出IS10标准特征集下的语音情感识别准确率优于IS09特征集，准确率达到84%。
（3）基于BERT-base-Chinese模型的文本情感识别方法，以实现细粒度的中文情感分类。该方法以百度飞桨的OCEMOTION中文情感分类为标准数据集，使用预训练的模型进行训练，其训练集准确识别率达到95%以上。

#### 核心包和数据集
程序可以运行，但是由于时间久远，可能运行不起来。
Python	3.7.11
OpenCV-python	3.4.2.16
pyaudio	0.2.11
Tensorflow-gpu	2.8.0
OpenSMILE	3.15
CPU	Intel i7-10700K
GPU	GeForce GTX 3060   
//训练Bert模型需要稍好一些的配置 其他的模型对配置要求不高
Transformers	4.18.0
Python	3.7.11
Tensorflow-gpu	2.8.0
tokenizers	0.11.6
##### 数据集：
fer2013数据集
飞桨OCEMOTION中文情感分类数据集

#### 使用说明

1.  从py_player_demo0.py开始运行
2.  speechRecognition.py 实现调用科大讯飞语音转文字api，进行语音转文字，进而将文字输入到bert模型中进行中文文本情感识别
3.  text_predict.py 将中文文本输入到训练好的bert模型进行训练
4. audio2text.py 语音转文本测试和调试程序

#### 参与贡献

语音情感识别部分参考gitee某大神的开源项目，忘了是谁了dbq~~T T