周易NPU平台上部署Yolov4与MicroLlama模型详解

本文详细介绍了在“周易”NPU平台上部署Yolov4和MicroLlama模型的过程。文章首先强调了构建工具的必要性，这些工具能够处理不同框架（如TensorFlow、Caffe、PyTorch、ONNX）的模型，将浮点数转换为定点数，并解决图与AIPU硬件之间的差距，以优化性能并运行模型。构建工具的主要组件包括解析器、优化器、IR简化模块和构建器，它们共同将模型从原始形式转换为可在AIPU上运行的格式。 文章接着深入探讨了Yolov4 Tiny模型的结构，包括其骨干网络、特征金字塔网络（FPN）和Yolo头。详细描述了模型的解码和非极大值抑制（NMS）过程，并提供了从GitHub下载和转换Yolov4 Tiny模型为tflite格式的方法。此外，还介绍了如何使用构建工具编译Yolov4 Tiny模型，并解释了浮点IR与量化IR之间的差异，包括权重和偏置的数据类型转换以及比例和位移值的添加。 性能分析部分讲述了如何使用AIPU模拟器分析器来评估模型性能，并生成性能报告。文章还讨论了量化的概念，包括量化方法、权重和激活的量化策略，以及如何通过构建配置文件实现混合量化。 在模型部署方面，文章提供了在SiRider S1上运行模型的详细步骤，包括初始化AIPU上下文、加载图、创建作业、加载张量、完成作业和获取输出数据等。同时，还介绍了SiRider S1的硬件配置，包括CPU、GPU和NPU的性能参数。 最后，文章还探讨了大型语言模型（LLM）的最新架构，特别是基于RoPE的解码器架构，并讨论了为什么LLM能够或不能执行某些任务。此外，还介绍了从PyTorch到NPU的LLM适配过程，包括模型简化、固化和量化，以及在NPU上编译和运行模型的方法。文章提供了从PyTorch模型到ONNX格式的转换，再到Compass Float IR和Quantized IR的过程，并讨论了量化对模型准确性的影响。最后，文章展示了在SiRider S1开发板上部署和性能测试LLM的结果。