为提高稀疏跟踪器性能,提出一种在贝叶斯推论框架下的基于视觉显著图的结构反稀疏在线目标跟踪算法。首先将基于马尔可夫(Markov)模型的关联性视觉显著度检测算法用于当前帧并计算目标模板的显著图,其次提出全局与局部分块的结构外观模型表示候选目标,将显著图映射回每一个局部块并计算出对应的自适应权重,最后提出联合全局与局部稀疏解的度量准则度量候选目标与目标模板的相似度,从而确立在贝叶斯框架下对目标状态最佳估计。在跟踪过程中,采用反稀疏表达方式一次求解优化问题计算出所有粒子权重来提高算法效率。实验结果表明,本文算法具有良好的鲁棒性和实时性。