为构建更准确、更自然的三维人手交互系统,提出基于状态变量微观结构的粒子滤波算法和基于交互微观结构的反馈机制。对三维人手跟踪系统中的人手交互行为数据和人手状态变量数据进行分析,确定有效的交互微观结构和状态变量微观结构;利用交互微观结构建立有效路径选择及交互反馈机制;应用状态变量微观结构建立各个动作采样模型,构造采样数据库,完成基于状态变量微观结构的粒子滤波算法;采用基于状态变量微观结构的粒子滤波算法和基于交互微观结构的反馈机制构建三维人手交互系统,完成虚拟装配任务。实验结果表明:微观结构应用于三维人手交互系统,提高了算法的精度。