信号处理中的变贝叶斯方法

Gaussian  linear  modelling  cannot  address  current  signal  processing  demands.  Inmodern  contexts,  such  as  Independent  Component  Analysis  (ICA),  progress  has  beenmade  specifically  by  imposing  non-Gaussian  and/or  non-linear  assumptions.  Hence,standard  Wiener  and  Kalman  theories  no  longer  enjoy  their  traditional  hegemony  inthe  field,  revealing  the  standard  computational  engines  for  these  problems.  In  theirplace,  diverse  principles  have  been  explored,  leading  to  a  consequent  diversity  in  theimplied  computational  algorithms.  The  traditional  on-line  and  data-intensive  preoccupationsof  signal  processing  continue  to  demand  that  these  algorithms  be  tractable.Increasingly,  full  probability  modelling  (the  so-called  Bayesian  approach)—orpartial  probability  modelling  using  the  likelihood  function—is  the  pathway  for  designof  these  algorithms.  However,  the  results  are  often  intractable,  and  so  the  areaof  distributional  approximation  is  of  increasing  relevance  in  signal  processing.  TheExpectation-Maximization  (EM)  algorithm  and  Laplace  approximation,  for  example,are  standard  approaches  to  handling  difficult  models,  but  these  approximations(certainty  equivalence,  and  Gaussian,  respectively)  are  often  too  drastic  to  handlethe  high-dimensional,  multi-modal  and/or  strongly  correlated  problems  that  are  encountered.Since  the  1990s,  stochastic  simulation  methods  have  come  to  dominateBayesian  signal  processing.  Markov  Chain  Monte  Carlo  (MCMC)  sampling,  and  relatedmethods,  are  appreciated  for  their  ability  to  simulate  possibly  high-dimensionaldistributions  to  arbitrary  levels  of  accuracy.  More  recently,  the  particle  filtering  approachhas  addressed  on-line  stochastic  simulation.  Nevertheless,  the  wider  acceptabilityof  these  methods—and,  to  some  extent,  Bayesian  signal  processing  itself—has  been  undermined  by  the  large  computational  demands  they  typically  make.The  Variational  Bayes  (VB)  method  of  distributional  approximation  originates—as  does  the  MCMC  method—in  statistical  physics,  in  the  area  known  as  Mean  FieldTheory.  Its  method  of  approximation  is  easy  to  understand:  conditional  independenceis  enforced  as  a  functional  constraint  in  the  approximating  distribution,  andthe  best  such  approximation  is  found  by  minimization  of  a  Kullback-Leibler  divergence(KLD).  The  exact—but  intractable—multivariate  distribution  is  therefore  factorizedinto  a  product  of  tractable  marginal  distributions,  the  so-called  VB-marginals.This  straightforward  proposal  for  approximating  a  distribution  enjoys  certain  optimality  properties.  What  is  of  more  pragmatic  concern  to  the  signal  processing  community,however,  is  that  the  VB-approximation  conveniently  addresses  the  followingkey  tasks:1.  The  inference  is  focused  (or,  more  formally,  marginalized)  onto  selected  subsetsof  parameters  of  interest  in  the  model:  this  one-shot  (i.e.  off-line)  use  of  the  VBmethod  can  replace  numerically  intensive  marginalization  strategies  based,  forexample,  on  stochastic  sampling.2.  Parameter  inferences  can  be  arranged  to  have  an  invariant  functional  formwhen  updated  in  the  light  of  incoming  data:  this  leads  to  feasible  on-linetracking  algorithms  involving  the  update  of  fixed-  and  finite-dimensional  statistics.In  the  language  of  the  Bayesian,  conjugacy  can  be  achieved  under  theVB-approximation.  There  is  no  reliance  on  propagating  certainty  equivalents,stochastically-generated  particles,  etc.Unusually  for  a  modern  Bayesian  approach,  then,  no  stochastic  sampling  is  requiredfor  the  VB  method.  In  its  place,  the  shaping  parameters  of  the  VB-marginals  arefound  by  iterating  a  set  of  implicit  equations  to  convergence.  This  Iterative  VariationalBayes  (IVB)  algorithm  enjoys  a  decisive  advantage  over  the  EM  algorithmwhose  computational  flow  is  similar:  by  design,  the  VB  method  yields  distributionsin  place  of  the  point  estimates  emerging  from  the  EM  algorithm.  Hence,  in  commonwith  all  Bayesian  approaches,  the  VB  method  provides,  for  example,  measures  ofuncertainty  for  any  point  estimates  of  interest,  inferences  of  model  order/rank,  etc.The  machine  learning  community  has  led  the  way  in  exploiting  the  VB  methodin  model-based  inference,  notably  in  inference  for  graphical  models.  It  is  timely,however,  to  examine  the  VB  method  in  the  context  of  signal  processing  where,  todate,  little  work  has  been  reported.  In  this  book,  at  all  times,  we  are  concerned  withthe  way  in  which  the  VB  method  can  lead  to  the  design  of  tractable  computationalschemes  for  tasks  such  as  (i)  dimensionality  reduction,  (ii)  factor  analysis  for  medicalimagery,  (iii)  on-line  filtering  of  outliers  and  other  non-Gaussian  noise  processes,  (iv)tracking  of  non-stationary  processes,  etc.  Our  aim  in  presenting  these  VB  algorithmsis  not  just  to  reveal  new  flows-of-control  for  these  problems,  but—perhaps  moresignificantly—to  understand  the  strengths  and  weaknesses  of  the  VB-approximationin  model-based  signal  processing.  In  this  way,  we  hope  to  dismantle  the  current  psychologyof  dependence  in  the  Bayesian  signal  processing  community  on  stochasticsampling  methods.Without  doubt,  the  ability  to  model  complex  problems  to  arbitrarylevels  of  accuracy  will  ensure  that  stochastic  sampling  methods—such  as  MCMC—will  remain  the  golden  standard  for  distributional  approximation.  Notwithstandingthis,  our  purpose  here  is  to  show  that  the  VB  method  of  approximation  can  yieldhighly  effective  Bayesian  inference  algorithms  at  low  computational  cost.  In  showingthis,  we  hope  that  Bayesian  methods  might  become  accessible  to  a  much  broaderconstituency  than  has  been  achieved  to  date。