本文将介绍瑞芯微 RK3588 原厂 RKNN 端侧模型的测试验证方法，而关于开发环境搭建可以查看先前文章。
【测试环境说明】
开发板系统：Ubuntu22.04
开发环境：Ubuntu22.04 虚拟机
演示设备：触觉智能 RK3588 开发板EVB3588，开发板基于核心板 + 底板设计，用户可通过核心板二次开发。
RKNN
RKNN，全程 Rockchip Neural Network ) 是瑞芯微专为自家 NPU ( 神经网络处理单元 ) 开发的端侧神经网络计算框架，提供完整的 " 模型转换 - 部署 - 推理 " 解决方案。瑞芯微官方软件栈可以帮助用户快速地将 AI 模型部署到 Rockchip 芯片，整体的框架如下。
RKNN-Toolkit2 是用户模型转换、推理与性能评估的开发套件。使用 RKNPU 时，需先通过该工具将训练好的模型转为 RKNN 格式，再借助 RKNN C API 或 Python API 在开发板上部署。其 Python 接口可快速实现模型转换、量化、推理、性能与内存评估、量化精度分析、模型加密等功能。。
RKNN Runtime 负责加载 RKNN 模型并调用 NPU 驱动完成推理，推理流程包含输入预处理、NPU 运算、输出后处理，并根据模型输入格式与量化方式，提供通用 API 和零拷贝 API 两种处理流程。：
提供一套简洁易用的推理 API，流程如图所示。数据归一化、量化、格式转换、反量化等在 CPU 上运行，模型推理在 NPU 上执行。
优化了通用 API 数据处理流程，归一化、量化与模型推理均在 NPU 上执行，数据排布与反量化可在 CPU 或 NPU 完成；零拷贝 API 的输入处理效率高于通用 API。
示例测试
开始介绍测试方法之前，对开发环境搭建不了解可以看上集：瑞芯微 RK3588 RKNN 模型推理环境部署与功能测试技巧（上）
RKNN Model Zoo 提供了示例代码，旨在帮助用户快速在 Rockchip 瑞芯微的开发板上运行各种常用模型，整个目录结构如下：
.
├── 3rdparty # 第三方库
├── asset
├── build-android.sh
├── build-linux.sh # Linux 构建脚本
├── datasets # 数据集
├── docs
├── examples # 示例代码
├── FAQ_CN.md
├── FAQ.md
├── LICENSE
├── py_utils
├── README_CN.md
├── README.md
├── scaling_frequency.sh
└── utils # 常用方法，如文件操作，画图等
其中，examples 目录包括了一些常用模型的示例，例如 MobileNet 和 YOLO 等。每个模型示例提供了 Python 和 C/C++ 两个版本的示例代码。
以 yolov5 为例：rknn_model_zoo
├── examples
│ └── yolov5
│ ├── cpp # C/C++ 版本的示例代码
│ ├── model # 模型、测试图片等文件
│ ├── python # 模型转换脚本和 Python 版本的示例代码
│ └── README.md
└── ...
RKNN Python Demo 使用方法
准备模型，执行脚本下载 onnx 测试模型。
# 进入 rknn_model_zoo/examples/yolov5/model 目录
cd Projects/rknn_model_zoo/examples/yolov5/model
chmod a+x download_model.sh
# 运行 download_model.sh 脚本，下载 yolov5 onnx 模型
./download_model.sh
转换模型，执行以下命令将 onnx 模型转换为 rknn 模型。
rknn_model_zoo/examples/yolov5/python 目录
cd Projects/rknn_model_zoo/examples/yolov5/python
# 运行 convert.py 脚本，将原始的 ONNX 模型转成 RKNN 模型
python convert.py ../model/yolov5s_relu.onnx rk3588 i8 ../model/yolov5s_relu.rknn
连板调试，RKNN-Toolkit2 的连板调试功能依赖板端的 RKNN Server 程序，该程序是一个运行在开发板上的后台代理服务，用于接收 PC（测试使用 Ubuntu 虚拟机）通过 USB 传输过来的命令和数据，然后调用相应的运行时接口，并返回相应结果给 PC。所以在做连板调试前需要确认开发板是否已启动 RKNN Server 程序。
adb shell
ps | grep rknn_server
执行如下命令，进行连板在线调试：
# 如果带上 --img_show 参数，则会显示结果图片
python yolov5.py --model_path ../model/yolov5s_relu.rknn --target rk3588 --img_show
效果如图：
完整运行一个 RKNN C Demo，需要先将 C/C++ 源代码编译成可执行文件，然后将可执行文件、模型文件、测试图片等相关文件推送到板端上，最后在板端运行可执行文件。
在 rknn_model_zoo 工程下的 build-linsx.sh 本中指定前面下载的 GCC 交叉编译器路径。
GCC_COMPILER=/home/ido/rknn/Projects/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu
执行如下命令编译测试 Demo，以 yolov5 为例：
# 运行 build-linux.sh 脚本
# 用法 :./build-linux.sh -t <target> -a <arch> -d <build_demo_name> [ -b <build_type> ] [ -m ]
# -t : target ( rk356x/rk3588 ) # 平台类型，rk3568/rk3566 都统一为 rk356x
# -a : arch ( aarch64/armhf ) # 板端系统架构
# -d : demo name # 对应 examples 目录下子文件夹的名称，如 yolov5、mobilenet
# -b : build_type ( Debug/Release )
# -m : enable address sanitizer, build_type need set to Debug
chmod a+x build-linux.sh
./build-linux.sh -t rk3588 -a aarch64 -d yolov5
编译后的安装目录如下：
打包安装目录生成的文件部署到开发板系统：tar -xf rknn_yolov5_demo.tar.gz
cd rknn_yolov5_demo/
chmod a+x rknn_yolov5_demo
# 执行一下命令进行测试
./rknn_yolov5_demo model/yolov5s_relu.rknn model/bus.jpg
命令执行完后会生成预测结果图片 out.png，从板端拉取到本地查看，在本地电脑的终端中查看效果。
在线调试报错：
解决方法 - 更新板端系统的 adb 工具：
https://github.com/airockchip/rknn-toolkit2/blob/master/doc/rknn_server_proxy.md
wget -O adbd.zip https://ftzr.zbox.filez.com/v2/delivery/data/7f0ac30dfa474892841fcb2cd29ad924/adbd.zip
unzip adbd.zip
adb push adbd/linux-aarch64/adbd /usr/bin/adbd
瑞芯微 RK3588 原厂 RKNN 模型详细测试方法与常见问题已讲解完毕。本文相关资料请关注深圳触觉智能
