针对传统的CAMShift目标跟踪算法,在出现颜色干扰,遮挡等复杂背景中容易跟丢的问题,提出了一种结合SURF特征匹配与Kalman滤波的CAMShift跟踪算法。该算法利用CAMShift算法跟踪得到的候选目标与模板目标的色度和梯度方向的综合直方图比较计算得到的Bhattacharyya系数作为判定依据,当系数大于给定阈值时,采用SURF算法对搜索窗口和上一帧跟踪结果进行特征匹配,重新计算目标的大小和位置。同时为了避免目标快速运动时跟踪失败和减少SURF匹配的计算量,利用Kalman滤波对运动目标窗口进行预测更新以确定下一帧搜索窗口的中心位置。实验表明,该算法在图像背景复杂,出现颜色干扰以及部分遮挡时能够稳定跟踪,其跟踪速度与结合SURF的CAMShift算法相比有显著提高。