针对目前手势识别方法受手势旋转、平移、缩放的影响, 导致手势识别率偏低的问题, 提出一种基于手势主方向和类-Hausdorff 距离模板匹配的手势识别方法. 首先把分割后的手势图像进行标准化处理, 并求出标准化图像中的手势主方向; 然后根据手势主方向建立二维手势直角坐标系提取空间手势特征; 再利用空间手势坐标点分布特征方法对手势进行初步识别; 最后利用类-Hausdorff 距离模板匹配的思想识别最终的手势. 实验结果表明, 在光照相对稳定的条件下, 该方法能够实时准确地实现手势识别, 总体识别率达到95%; 对发生旋转的手势识别率能超过90%.