Scalable and modularized RTL compilation of Convolutional Neural Networks...

Scalable  and  modularized  RTL  compilation  of  Convolutional  Neural  Networks  onto  FPGA 

作者：Yufei  Ma,  Yu  Cao,  Jae-sun  Seo,  Naveen  Suda

Despite  its  popularity,  deploying  Convolutional  Neural  Networks  (CNNs)  on  a  portable  system  is  still  challenging  due  to  large  data  volume,  intensive  computation  and  frequent  memory  access.  Although  previous  FPGA  acceleration  schemes  generated  by  high-level  synthesis  tools  (i.e.,  HLS,  OpenCL)  have  allowed  for  fast  design  optimization,  hardware  inefficiency  still  exists  when  allocating  FPGA  resources  to  maximize  parallelism  and  throughput.  A  direct  hardware-level  design  (i.e.,  RTL)  can  improve  the  efficiency  and  achieve  greater  acceleration.  However,  this  requires  an  in-depth  understanding  of  both  the  algorithm  structure  and  the  FPGA  system  architecture.  In  this  work,  we  present  a  scalable  solution  that  integrates  the  flexibility  of  high-level  synthesis  and  the  finer  level  optimization  of  an  RTL  implementation.  The  cornerstone  is  a  compiler  that  analyzes  the  CNN  structure  and  parameters,  and  automatically  generates  a  set  of  modular  and  scalable  computing  primitives  that  can  accelerate  various  deep  learning  algorithms.