论文提出了一个简单、灵活、通用的损失函数Focal loss,用于解决单阶段目标检测网络检测精度不如双阶段网络的问题。这个损失函数是针对了难易样本训练和正负样本失衡所提出的,使得单阶段网络在运行快速的情况下,获得与双阶段检测网络相当的检测精度。此外作者还提出了一个Retinanet用于检验网络的有效性,其中使用Resnet和FPN用于提取多尺度的特征。
参考实现:
url=https://github.com/facebookresearch/detectron2
commit_id=60fd4885d7cfd52d4267d1da9ebb6b2b9a3fc937
code_path=detectron2
model_name=detectron2
输入数据
输入数据 | 数据类型 | 大小 | 数据排布格式 |
---|---|---|---|
input | FP32 | 1 x 3 x 224 x 224 | NCHW |
输出数据
输出数据 | 数据类型 | 大小 | 数据排布格式 |
---|---|---|---|
boxes | FLOAT32 | 5 x 100 | ND |
labels | INT64 | 1 x 100 | ND |
该模型需要以下插件与驱动
表 1 版本配套表
配套 | 版本 | 环境准备指导 |
---|---|---|
固件与驱动 | 22.0.2 | Pytorch框架推理环境准备 |
CANN | 5.1.RC2 | - |
Python | 3.7.5 | - |
获取源码。
git clone https://github.com/facebookresearch/detectron2 -b main
cd detectron2
git reset --hard 60fd4885d7cfd52d4267d1da9ebb6b2b9a3fc937
patch -p1 < ../Retinanet.diff
pip install -e .
cd -
安装依赖。
pip3 install -r requirements.txt
获取原始数据集。
本模型需要coco2017数据集,数据集下载地址
受开源代码仓的限制,建议把coco数据集存放在 detectron2/datasets
目录下,并设置环境变量 export DETECTRON2_DATASETS=detectron2/datasets
。
其中val2017目录存放coco数据集的验证集图片,annotations目录存放coco数据集的instances_val2017.json,文件目录结构如下:
detectron2
├── datasets
│ ├── coco
│ │ ├── annotations
│ │ ├── val2017
数据预处理,将原始数据集转换为模型输入的数据。
运行数据预处理脚本,将原始数据转换为符合模型输入要求的bin文件。
python Retinanet_preprocess.py \
--image_src_path=detectron2/datasets/coco/val2017 \
--bin_file_path=val2017_bin \
--model_input_height=1344 \
--model_input_width=1344
运行成功后,会在当前目录下生成二进制文件。
模型转换。
使用PyTorch将模型权重文件.pth转换为.onnx文件,再使用ATC工具将.onnx文件转为离线推理模型文件.om文件。
获取权重文件。
导出onnx文件。
python detectron2/tools/deploy/export_model.py \
--config-file detectron2/configs/COCO-Detection/retinanet_R_50_FPN_3x.yaml \
--output ./ \
--export-method tracing \
--format onnx MODEL.WEIGHTS RetinaNet-detectron2.pkl MODEL.DEVICE cpu
获得model.onnx文件。
使用ATC工具将ONNX模型转OM模型。
配置环境变量。
source /usr/local/Ascend/ascend-toolkit/set_env.sh
执行命令查看芯片名称(${chip_name})。
npu-smi info
#该设备芯片名为Ascend310P3 (自行替换)
回显如下:
+-------------------+-----------------+------------------------------------------------------+
| NPU Name | Health | Power(W) Temp(C) Hugepages-Usage(page) |
| Chip Device | Bus-Id | AICore(%) Memory-Usage(MB) |
+===================+=================+======================================================+
| 0 310P3 | OK | 15.8 42 0 / 0 |
| 0 0 | 0000:82:00.0 | 0 1074 / 21534 |
+===================+=================+======================================================+
| 1 310P3 | OK | 15.4 43 0 / 0 |
| 0 1 | 0000:89:00.0 | 0 1070 / 21534 |
+===================+=================+======================================================+
执行ATC命令。
batch_size=1 # 本文仅以batch_size=1为例进行说明
atc --model=model.onnx \
--framework=5 \
--output=retinanet_bs${batch_size} \
--input_format=NCHW \
--input_shape="input0:$batch_size,3,1344,1344" \
--out_nodes="Cast_1229:0;Reshape_1223:0;Gather_1231:0" \
--log=error \
--soc_version=Ascend${chip_name}
运行成功后生成 retinanet_bs1.om
模型文件。
开始推理验证。
安装ais_bench推理工具。
请访问ais_bench推理工具代码仓,根据readme文档进行工具安装。
执行推理。
python -m ais_bench \
--model ./retinanet_bs1.om \
--input ./val2017_bin \
--output ./ \
--output_dirname result \
--batchsize 1 \
--outfmt BIN
参数说明:
推理后的输出默认在当前目录result下。
精度验证。
说明:精度验证之前,将推理结果文件中summary.json删除 运行get_info.py脚本,生成图片数据info文件。
python get_info.py jpg ./datasets/coco/val2017 val2017.info
运行成功后,在当前目录生成val2017.info,执行后处理脚本,计算 map 精度:
python Retinanet_postprocess.py \
--bin_data_path=./result/ \
--val2017_path=./datasets/coco \
--test_annotation=val2017.info \
--det_results_path=./ret_npuinfer/ \
--net_out_num=3 \
--net_input_height=1344 \
--net_input_width=1344
性能验证。
可使用ais_bench推理工具的纯推理模式验证不同batch_size的om模型的性能,参考命令如下:
python -m ais_bench --model retinanet_bs1.om --loop 20 --batchsize 1
-参数说明:
调用ACL接口推理计算,性能参考下列数据。
精度对比
Model | batchsize | Accuracy | 开源仓精度 |
---|---|---|---|
Retinanet | 1 | map = 38.3% | map = 38.6% |
性能对比
batchsize | 300I PRO 性能 | A500 A2 性能 |
---|---|---|
1 | 17 | 3.84 |
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。