通过模态和视角分析的实时驾驶员监控系统

通过模态和视角分析的实时驾驶员监控系统

Driver  distractions  are  known  to  be  the  dominant  cause

of  road  accidents.  While  monitoring  systems  can  detect  non-driving-related  activities  and  facilitate  reducing

the  risks,  they  must  be  accurate  and  efficient  to  be  applicable.  Unfortunately,  state-of-the-art  methods  prioritize

accuracy  while  ignoring  latency  because  they  leverage

cross-view  and  multimodal  videos  in  which  consecutive

frames  are  highly  similar.  Thus,  in  this  paper,  we  pursue

time-effective  detection  models  by  neglecting  the  temporal  relation  between  video  frames  and  investigate  the  importance  of  each  sensing  modality  in  detecting  drives’  activities.  Experiments  demonstrate  that  1)  our  proposed

algorithms  are  real-time  and  can  achieve  similar  performances  (97.5%  AUC-PR)  with  significantly  reduced  computation  compared  with  video-based  models;  2)  the  top

view  with  the  infrared  channel  is  more  informative  than

any  other  single  modality.  Furthermore,  we  enhance  the

DAD  dataset  by  manually  annotating  its  test  set  to  enable

multiclassification.  We  also  thoroughly  analyze  the  influence  of  visual  sensor  types  and  their  placements  on  the

prediction  of  each  class.  The  code  and  the  new  labels  will

be  released