自动驾驶中高效的目标检测：基于脉冲神经网络的性能、能耗分析以及开放集合对象发现的见解

本文探讨了在自动驾驶领域中，使用尖峰神经网络（Spiking Neural Networks, SNNs）进行高效目标检测的方法。研究的核心在于实现性能、能效和开放世界学习之间的平衡。作者提出了一种基于SNN的全尖峰目标检测器，该检测器基于非尖峰的Faster-RCNN架构，不仅能够从时间编码数据中学习，还具备在推理时检测新知识的能力。实验结果表明，与非尖峰神经网络相比，该模型在检测性能上具有竞争力，同时在能效上实现了高达85%的能耗节省，并在一定程度上提高了对图像噪声的鲁棒性。 文章首先介绍了自动驾驶中车辆感知的重要性，并指出了当前深度学习方法在目标检测领域的局限性，特别是在动态和不可预测的车辆环境中。接着，文章讨论了SNNs的基本原理和优势，包括它们的事件驱动特性和在神经形态硬件上实现的能效。作者提出的SNN目标检测器分为三个主要部分：特征提取器（使用传统ANN作为背脊）、区域提议网络（RPN）和检测器本身。每个部分都可以独立处理信息，并且可以分别使用替代梯度（Surrogate Gradient, SG）方法进行训练。 此外，文章还提出了一种简单的方法来检测新对象，该方法不需要对模型进行重新训练。这种方法利用了两阶段检测器（如Faster RCNN）在推理时产生的信息，通过评估背景预测和RPN生成的大量提议之间的关系，来识别可能包含新对象的提议。 最后，文章通过一系列实验验证了所提出SNN目标检测器的性能，并讨论了其在不同噪声条件下的鲁棒性。实验使用了Cityscapes、Indian Driving Dataset (IDD)和Berkeley Deep Drive (BDD)等数据集，并与非尖峰模型进行了比较。结果表明，SNN模型在性能上与非尖峰模型相当，同时在能效上有显著提升。文章还探讨了通过调整模拟时间来平衡性能和能效的可能性，并指出RPN在这一权衡中起着关键作用。尽管如此，文章也指出了当前方法在检测新对象时存在的挑战，特别是在RPN对已知类别的偏见可能导致对新对象的检测产生困难。未来的研究将致力于提高检测器的性能，并扩展模型的能力，以检测新对象并自动将新类别纳入模型知识中。