HigherHRNet模型-推理指导

概述
- 输入输出数据
推理环境准备
快速上手
模型推理性能&精度

概述

自下而上的人体姿态估计方法由于尺度变化的挑战而难以为小人体预测正确的姿态。HigherHRNet：一种新的自下而上的人体姿势估计方法，用于使用高分辨率特征金字塔学习尺度感知表示。该方法配备了用于训练的多分辨率监督和用于推理的多分辨率聚合，能够解决自下而上的多人姿势估计中的尺度变化挑战，并能更精确地定位关键点，尤其是对于小人物。 HigherHRNet中的特征金字塔包括HRNet的特征图输出和通过转置卷积进行上采样的高分辨率输出。

参考实现：

url=https://github.com/HRNet/HigherHRNet-Human-Pose-Estimation.git
commit_id=aa23881492ff511185acf756a2e14725cc4ab4d7
code_path=ACL_PyTorch/contrib/cv/pose_estimation/HigherHRNet
model_name=HigherHRNet

输入输出数据

输入数据

输入数据	数据类型	大小	数据排布格式
input	FLOAT32	batchsize x 3 x 512x 512	NCHW
input	FLOAT32	batchsize x 3 x 512x 576	NCHW
input	FLOAT32	batchsize x 3 x 512x 640	NCHW
input	FLOAT32	batchsize x 3 x 512x 704	NCHW
input	FLOAT32	batchsize x 3 x 512x 768	NCHW
input	FLOAT32	batchsize x 3 x 512x 832	NCHW
input	FLOAT32	batchsize x 3 x 512x 896	NCHW
input	FLOAT32	batchsize x 3 x 512x 960	NCHW
input	FLOAT32	batchsize x 3 x 512x 1024	NCHW
input	FLOAT32	batchsize x 3 x 576x 512	NCHW
input	FLOAT32	batchsize x 3 x 640x 512	NCHW
input	FLOAT32	batchsize x 3 x 704x 512	NCHW
input	FLOAT32	batchsize x 3 x 768x 512	NCHW
input	FLOAT32	batchsize x 3 x 832x 512	NCHW
input	FLOAT32	batchsize x 3 x 896x 512	NCHW
input	FLOAT32	batchsize x 3 x 960x 512	NCHW
input	FLOAT32	batchsize x 3 x 1024x 512	NCHW

输出数据

输出数据数据类型大小数据排布格式

output1 FLOAT32 batchsize x 17 x h/4 x w/41 x 1000 NCHW

output2 FLOAT32 batchsize x 17 x h/2 x w/2 NCHW

输出数据	数据类型	大小	数据排布格式
output1	FLOAT32	batchsize x 17 x h/4 x w/41 x 1000	NCHW
output2	FLOAT32	batchsize x 17 x h/2 x w/2	NCHW

推理环境准备

该模型需要以下插件与驱动

表 1 版本配套表

配套	版本	环境准备指导
固件与驱动	22.0.2	Pytorch框架推理环境准备
CANN	5.1.RC2	-
Python	3.7.5	-
PyTorch	1.8.0	-
说明：Atlas 300I Duo 推理卡请以CANN版本选择实际固件与驱动版本。	\	\

快速上手

获取源码

获取源码。

git clone https://github.com/cocodataset/cocoapi.git $COCOAPI
cd cocoapi/PythonAPI
make install
cd ../..
git clone https://github.com/HRNet/HigherHRNet-Human-Pose-Estimation
cd HigherHRNet-Human-Pose-Estimation
patch -p1 < ../HigherHRNet.patch
cd ..

安装依赖。
```
pip3 install -r requirements.txt
```

准备数据集

获取原始数据集。

本模型支持COCO2017验证集。请用户需自行获取COCO2017数据集，上传数据集到本项目路径下。目录结构如下：

因为模型代码开源仓配置文件限制，请注意数据集配置路径

 data
  |-- coco
   `-- |-- annotations
       |   |-- person_keypoints_train2017.json
       |   `-- person_keypoints_val2017.json
       `-- images
           |-- train2017
           |   |-- 000000000009.jpg
           |   |-- 000000000025.jpg
           |   |-- 000000000030.jpg
           |   |-- ...
           `-- val2017
               |-- 000000000139.jpg
               |-- 000000000285.jpg
               |-- 000000000632.jpg
               |-- ...

数据预处理，将原始数据集转换为模型输入的数据。

执行 HigherHRNet_preprocess.py 脚本，完成预处理。
```
python3 HigherHRNet_preprocess.py --output prep_dir --output_flip prep_flip_dir
```
- 参数说明：
  - --output：输出的二进制文件（.bin）所在路径。
  - --output_flip：输出的二进制文件flip（.bin）所在路径。

模型推理

模型转换。

使用PyTorch将模型权重文件.pth转换为.onnx文件，再使用ATC工具将.onnx文件转为离线推理模型文件.om文件。

获取权重文件。

获取权重文件 pose_higher_hrnet_w32_512.pth
导出onnx文件。

使用HigherHRNet_pth2onnx.py导出onnx文件。
```
python3 HigherHRNet_pth2onnx.py \
        --weights pose_higher_hrnet_w32_512.pth \
        --onnx_path  higher_hrnet_dynamic.onnx
```
- 参数说明：
  - --weights：为pth模型文件输入。
  - --onnx_path：onnx文件输出。
获得higher_hrnet_dynamic.onnx文件。

使用ATC工具将ONNX模型转OM模型。

配置环境变量。

source /usr/local/Ascend/ascend-toolkit/set_env.sh

执行命令查看芯片名称（${chip_name}）。

npu-smi info
#该设备芯片名为Ascend310P3 （自行替换）
回显如下：
+-------------------+-----------------+------------------------------------------------------+
| NPU     Name      | Health          | Power(W)     Temp(C)           Hugepages-Usage(page) |
| Chip    Device    | Bus-Id          | AICore(%)    Memory-Usage(MB)                        |
+===================+=================+======================================================+
| 0       310P3     | OK              | 15.8         42                0    / 0              |
| 0       0         | 0000:82:00.0    | 0            1074 / 21534                            |
+===================+=================+======================================================+
| 1       310P3     | OK              | 15.4         43                0    / 0              |
| 0       1         | 0000:89:00.0    | 0            1070 / 21534                            |
+===================+=================+======================================================+

执行ATC命令。

 atc --framework=5 \
    --model=higher_hrnet_dynamic.onnx \
    --output=higher_hrnet_dynamic \
    --input_format=ND \
    --input_shape="input:1,3,-1,-1" \
    --dynamic_dims="1024,512;960,512;896,512;832,512;768,512;704,512;640,512;576,512;512,512;512,576;512,640;512,704;512,768;512,832;512,896;512,960;512,1024" \
    --out_nodes="Conv_770:0;Conv_795:0"\
    --soc_version=Ascend${chip_name}

参数说明：
- --model：为ONNX模型文件。
- --framework：5代表ONNX模型。
- --output：输出的OM模型。
- --input_format：输入数据的格式。
- --input_shape：输入数据的shape。
- --dynamic_dims：图片的动态分辨率参数。
- --out_nodes：输出节点名。
- --soc_version：处理器型号。

运行成功后生成pose_higher_hrnet_dynamic.om模型文件。

开始推理验证。
1. 安装ais_bench推理工具。
  
  请访问ais_bench推理工具代码仓，根据readme文档进行工具安装。
2. 执行推理。
```
   python3 -m ais_bench \
          --model=higher_hrnet_dynamic.om \
          --input=./prep_dir \
          --output=./ --output_dirname=output_dir \
          --outfmt NPY \
          --auto_set_dymdims_mode 1
   python3 -m ais_bench \
          --model=higher_hrnet_dynamic.om \
          --input=./prep_flip_dir \
          --output=./ --output_dirname=output_flip_dir \
          --outfmt NPY \
          --auto_set_dymdims_mode 1
```
  - 参数说明：
    - model：om模型。
    - input：模型需要的输入。
    - output：推理结果输出路径。
    - outfmt：输出数据的格式，默认”BIN“，可取值“NPY”、“BIN”、“TXT”。
    - output_dirname:推理结果输出子文件夹。可选参数。与参数output搭配使用。
    - auto_set_dymdims_mode：自动匹配输入数据的shape。
  HigherHRNet中的特征金字塔包括HRNet的特征图输出和通过转置卷积进行上采样的高分辨率输出,其中output_dir是特征图输出的推理结果，output_flip_dir是高分辨率输出的推理结果。
3. 精度验证。
```
python3 HigherHRNet_postprocess.py  --dump_dir ./output_dir --dump_dir_flip ./output_flip_dir
```
  - 参数说明：
    - --dump_dir：生成特征图推理结果所在路径。
    - --dump_dir_flip：生成高分辨率推理结果所在路径。
  后处理输出的结果，日志保存在“output”目录下。

模型推理性能&精度

调用ACL接口推理计算，性能参考下列数据。

芯片型号	Batch Size	数据集	精度（AP）	性能(aoe)
300I Pro	1	coco2017	67.1%	185.28

Ascend/ModelZoo-PyTorch

HigherHRNet模型-推理指导

概述

输入输出数据

推理环境准备

快速上手

获取源码

准备数据集

模型推理

模型推理性能&精度

简介

发行版

贡献者

语言

近期动态

Ascend/ModelZoo-PyTorch .gitee-modal { width: 500px !important; }

HigherHRNet模型-推理指导

概述

输入输出数据

推理环境准备

快速上手

获取源码

准备数据集

模型推理

模型推理性能&精度

简介

发行版

贡献者

语言

近期动态

搜索帮助

Ascend/ModelZoo-PyTorch