一种超轻量级神经网络加速器实现

一 目标

       针对资源受限，SWaP敏感的边缘计算应用场景，探索稳健而高效的计算架构，算法和应用。 并完成超轻量级神经网络加速器设计和验证。       

 1、实时性能：30~50FPS

 2、超低功耗：mW级别

 3、资源受限：包括计算资源/存储资源/通信带宽等

 4、成本低廉：百元内

二 设计分析

• 计算模式
• 可扩展计算阵列
• 可配置数据通路
• 。。。

计算模式：

三 验证

网络模型：优化设计的YOLOV3

FPGA硬件平台：ZYNQ7020

性能：35FPS（150MHz）

资源消耗：7K LUT、7K FF

峰值运算性能：12.8GOP/s

延时测试：27.2ms

功能测试：见下面视频

流程：720P摄像头采集数据，然后crop至640*640，再缩放至320*320，送至CNN进行目标检测，检测结果叠加到输出视频相应位置。

整个CNN IP资源消耗大致5000LUT+22DSP+28BRAM。MIG消耗了5000+，总的资源消耗在12000LUT左右。

功耗测试：待测（A7/SP7系列FPGA）

能效：

四 规格  

• 支持卷积核尺寸/stride：1-7/1-3
• 输入图像分辨率：0~512*512
• 输入/输出通道：<1024
• 卷积/通道卷积
• 上采样/下采样
• 批归一化
• 非线性函数
• 面向神经网络模型的精简指令集架构

五 参考文献

[1] TinyNPU

[2] DAC-SDC