# rank6

**Repository Path**: layzzz/rank6

## Basic Information

- **Project Name**: rank6
- **Description**: 天池-新冠疫情相似句对判定大赛 大白_Rank6
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-06-20
- **Last Updated**: 2021-06-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 思路

## 环境
- Red Hat 4.8.5-16
- python 3.7.3
- cudatoolkit  10.0.130   
- cudnn   7.6.0 

## 方案
- 根据数据传递性 数据增强
- 特征融合（预训练模型 + 腾讯词向量 + fasttext词向量）
   - 预训练模型NEZHA(https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/NEZHA)
   - 预训练模型UER(https://github.com/dbiir/UER-py)
   - 腾讯词向量(https://ai.tencent.com/ailab/nlp/embedding.html)
   - fasttext词向量(https://fasttext.cc/)
- 对抗学习(FGM)
- 模型融合 两个5fold模型ensemble

## 数据和预训练模自行下载

## 运行
```shell
> cd code
> sh main.sh
```