概述
这是一个中小型的模型训练平台
用途
- 可以训练中小型公司的业务需求(模型需求量不是很大，且垂直)
- 用于学生参加kaggle类型的竞赛(快速训练模型为目标)
平台组成
采集系统
- 网络数据采集
- 网络相机采集(暂时不支持，估计用处不大)
标注系统
标注系统主要采用开源第三方工具
- 表格csv数据集标注(主要用于训练表格类数据，例如股票预测，订单预测)
- 图片分类标注
- 图片目标检测标注
- 图片分割标注
训练系统
训练部分
这部分采用自动机器学习，网络自动搜索NAS方法训练模型
- 表格数据分类模型
- 表格数据回归模型
- 图像分类模型
- 图像目标检测模型
业务
- 部署：直接可以部署使用的服务
- 下载：可以将服务代码或者镜像下载或者模型下载(避免繁琐后处理部分)
技术
-
异步任务
- 训练，以及训练日志，数据同步等功能非常耗时，需要回调显示在前端，采用celery调度
-
后端
- 由于需要交互celery，所以采用python后端服务
-
前端
- 阶段一：使用python渲染页面
- 阶段二：使用react构建前端，与标注系统融合
总结
-
采集系统
- python streamlit --> 前后端
- 反爬措施设计
- 采集到的数据同步至标注系统
-
标注系统
-
训练系统
- 从标注系统同步数据
- python streamlit celery --> 前后端
- autokeras yolov3 等
-
备注
