# 自动标注工具

**Repository Path**: wws0815/auto_tag

## Basic Information

- **Project Name**: 自动标注工具
- **Description**: 实现模型的自动更新辅助标注人员处理数据
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2021-07-30
- **Last Updated**: 2024-01-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 自监督处理, Nlp

## README

## 程序说明
### 目录结构说明
- downshift: 
    - blueprints: flask前端蓝图注册目录
        - auth.py : 用户登录、退出、重置密码操作
        - main.py : 首页、上传测试文件、预测测试文件、下载结果文件、上传标准文件、合并标准文件并更新模型及定时任务操作
    - data :
        - pre_data : 测试结果文件保存目录
            -eg: pre_result_测试文件第一次上传.xlsx
        - test_data : 上传测试文件保存目录
            -eg: test_20210720165949.xlsx
        - true_data : 
            -eg: true_20210720170112.xlsx
    - model: 
        - data_set: 训练数据目录
            - last_model_acc.txt : 最新模型相关指标——更新时间及正确率
            - train.csv : 训练集
        - val_data:训练过程中验证结果文件
            - validation.csv 
            - validation.xlsx
        - word2vec: 词向量文件目录
            - skipgram-sg-100d-8w: 离线训练的词向量文件
        - class2id.json: 标签和id的映射文件
        - id2class.json：id和标签的映射文件
        - id2token.json: id和词的映射文件
        - token2id.json: 词和id的映射文件
        - model_text_cnn.txt: textCNN 模型文件
        - rules.txt: 规则文件
    - src: 模型处理相关脚本
        - sqlite_db: 
            - auto_tag.db: SQLite 数据库文件
        - chat_cnn_classidier.py： TextCNN模型处理脚本
        - common.py: 规则处理文件——将字符规则转化为正则规则
        - commonMatch.py: 规则匹配处理脚本
        - get_label_by_rule.py: 通过规则获取标签整合脚本
        - logger.py: 日志输出脚本
        - pre_dao.py: 数据预测、模型更新接口脚本
        - settings.py: 模型处理的配置文件
        - similar_classify.py: 相似度匹配相关脚本——余弦和欧式处理
        - sqlite_utils.py: SQLite 操作数据库工具脚本
        - test_sqlite.py : 测试SQLite数据库脚本
        - utils.py : 相关工具脚本
    - static : 前端处理静态文件
    - templates: 前端界面文件目录
        - auth
            - login.html
            - register.html
            - reset_password.html
        - errors:
            - 400.html
            - 404.html
            - 500.html
        - main:
            - index.html: 测试文件展示
            - index_true.html: 标准文件展示
            - upload.html: 上传测试文件
            - upload_true.html:上传标准文件
        - base.html
    - __init__.py: flask启动初始化处理
    - decorators.py： 前端处理脚本
    - extendsions.py: 前端处理插件脚本
    - fakes.py： 用户初始化脚本
    - forms.py:  登录处理任务脚本
    - models.py：SQLite数据库中表初始化脚本
    - settings.py： 前端任务处理配置文件
    - utils.py： 前端任务处理工具类
- logs: 日志保存目录
- .flaskenv: flask 环境配置文件
- readMe.md: 文件说明
- requirements.txt 环境要求
- wsgi.py : flask项目启动程序主入口