自动驾驶的语义分割：模型评估、数据集生成、视角比较和实时性能

自动驾驶的语义分割：模型评估、数据集生成、视角比较和实时性能

Abstract—Environmental  perception  is  an  important  aspect

within  the  field  of  autonomous  vehicles  that  provides  crucial

information  about  the  driving  domain,  including  but  not  limited

to  identifying  clear  driving  areas  and  surrounding  obstacles.

Semantic  segmentation  is  a  widely  used  perception  method  for

self-driving  cars  that  associates  each  pixel  of  an  image  with  a

predefined  class.  In  this  context,  several  segmentation  models

are  evaluated  regarding  accuracy  and  efficiency.  Experimental

results  on  the  generated  dataset  confirm  that  the  segmentation

model  FasterSeg  is  fast  enough  to  be  used  in  realtime  on  lowpower  computational  (embedded)  devices  in  self-driving  cars.  A

simple  method  is  also  introduced  to  generate  synthetic  training

data  for  the  model.  Moreover,  the  accuracy  of  the  first-person

perspective  and  the  bird’s  eye  view  perspective  are  compared.

For  a  320  ×  256  input  in  the  first-person  perspective,  FasterSeg

achieves  65:44  %  mean  Intersection  over  Union  (mIoU),  and  for

a  320×256  input  from  the  bird’s  eye  view  perspective,  FasterSeg

achieves  64:08  %  mIoU.  Both  perspectives  achieve  a  frame  rate

of  247:11  Frames  per  Second  (FPS)  on  the  NVIDIA  Jetson  AGX

Xavier.  Lastly,  the  frame  rate  and  the  accuracy  with  respect  to

the  arithmetic  16-bit  Floating  Point  (FP16)  and  32-bit  Floating

Point  (FP32)  of  both  perspectives  are  measured  and  compared

on  the  target  hardware