# Multi_Task_learning

**Repository Path**: mayi123/multi_-task_learning

## Basic Information

- **Project Name**: Multi_Task_learning
- **Description**: 基于conformer共享编码器的识别和评分多任务模型
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: my
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-12-21
- **Last Updated**: 2025-11-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 基于深度学习的端到端多任务发音评估模型


本文提出了一种完全端到端的基于深度学习方法的多任务发音评估模型，模型的输入是音频的FBank特征，输出是音频对应的音素序列和发音得分。
与先前的方法相比，该模型在很大程度上降低了自动发音评估过程中的复杂性，且在音素识别和评分任务上都具有较好的性能。

## 模型结构 :fire:

<img src="https://codeup.aliyun.com/61b60091cd8b75daa5a0ea43/Multi_Task_learning/blob/a2830c05ba14ebb06555d5f0a6f596706a61ae8f/docs/images/mode.png" width="250px">

## 内容

* 基于CTC/Attention架构的音素识别任务。
* 基于共享Conformer编码器的自动发音评估任务。

<img src="https://codeup.aliyun.com/61b60091cd8b75daa5a0ea43/Multi_Task_learning/blob/3d3dde65a4d5791eb58448425d893600a3419916/docs/images/cnn.png" width="250px">

## 实验结果
Model|True_avg_score|Hyp_avg_score|Pearson|MSLE|RMSLE|PER%|R2|MSE|
:---:|:---:|:---:|:---:|:---:|:---:|:---:|:---:|:---:
Conformer-multi|8.068|8.215|0.7835|0.0280|0.1673|5.55|0.6047|1.458
Conformer-multi-phn|8.068|8.210|0.7763|0.0278|0.1666|6.00|0.5956|1.172