使用SoC FPGA上的检测分割网络实现自动驾驶车辆的感知系统

本文介绍了一种基于SoC FPGA的自动驾驶车辆感知系统的实现，该系统采用了一种检测-分割网络（MultiTask V3）。该网络能够在单个架构内同时执行障碍物检测和环境元素识别功能。研究团队在AMD Xilinx Kria KV260 Vision AI嵌入式平台上训练、量化并部署了该网络，利用该设备并行化和加速计算过程。与基于CPU的实现相比，整个系统功耗较低（平均5瓦特），且平台的尺寸（119mm x 140mm x 36mm）适合在空间受限的设备中使用。该系统在目标检测的mAP（平均精度均值）上达到了超过97%的准确率，在图像分割的mIoU（平均交并比）得分上达到了90%以上。 文章还详细介绍了Mecanum轮车辆的设计，该车辆用于在模拟环境中测试所提出的解决方案。研究分为四个阶段：设计和构建装有Mecanum轮的自动驾驶车辆、设计电子设备和组装、在AMD Xilinx Kria KV260平台上实现感知和控制算法，以及为Mecanum轮编程低级电机控制算法。文章还讨论了检测-分割网络在SoC FPGA上的实现，包括网络模型的量化和编译，以及在Kria KV260平台上的部署。 此外，文章还描述了车辆控制算法，该算法捕获USB摄像头的最后一帧，进行预处理，并将其输入到MultiTask V3神经网络中。网络返回的张量随后被转换为掩码，用于分割检测到的对象、可行驶区域和道路标记，以及检测到的对象的边界框。基于这些数据，确定轨迹并传输到控制电机的Arduino微控制器。 在硬件设置方面，项目包括在面包板上放置Arduino Nano Every微控制器，直接连接到电机编码器和四个Pololu DRV8838电机控制器。电源部分包括锂电池包和降压转换器。电机控制程序在微控制器上用Arduino提供的C++语言编写。 文章还对检测-分割网络进行了评估，比较了量化前后网络模型推理的质量，并在Kria KV260平台上进行了性能测试，检查了平台的CPU核心使用情况、RAM和CMA（连续内存分配器）的使用情况以及SOM（系统模块）平台的功耗。实验结果表明，Kria KV260平台在功耗类别中表现出最佳性能，处理速度明显优于NVIDIA Jetson Nano平台，并且在10W功耗模式下比NVIDIA Jetson Xavier NX平台运行更快。 最后，文章总结了Kria KV260 SoC FPGA平台在使用MultiTask V3神经网络时，在准确性、效率和功耗方面取得了最佳结果，并提出了未来的研究方向，包括代码重构以提高效率、在模拟城市上测试车辆模型、探索弱监督学习和自监督学习方法，以及考虑添加深度估计和光流模块。