听觉作为一项重要技术，能够扩大机器人的感知范围，增强机器人的环境感知能力；在多目标场景下，听觉能够使机器人专注于活跃发声的目标，提高机器人感知效率。通过融合视听觉信息，机器人能够在更复杂的场景中完成目标定位与趋近导航任务，增强其对真实场景的适应能力。然而，听觉感知易受环境中噪声与混响的干扰、小尺寸麦克风阵列条件下声源定位误差较大、机器人与目标之间可能存在遮挡等实际问题限制了机器人听觉的应用。针对这些问题，本文围绕基于视听融合的目标定位与趋近导航课题设计了研究路线，主要包含4项工作：听觉特征提取与声源定位、基于听觉的机器人控制、结合机器人运动信息的多声源定位与趋近控制以及融合视听觉信息的目标状态估计与趋近控制。具体的工作内容和贡献包括：

    1. 提出了一种适应小尺寸麦克风阵列特点的听觉特征提取算法和声源定位算法。针对传统听觉特征提取算法在小尺寸阵列条件下对噪声和混响敏感的问题，本文提出了一种对噪声和混响更鲁棒的动态信号匹配算法，该算法利用信号的梯度和幅度信息衡量信号相似度，并基于动态规划思想搜索两信号间的匹配点对，综合利用所有匹配点对的信息得到对噪声和混响更鲁棒的听觉特征估计。同时，为了降低听觉特征误差对声源定位的影响，本文提出了一种导引网格搜索算法，该算法对空间中各潜在声源位置点进行建模并构建空间网格，将声源位置计算问题转化为节点搜索问题，避免了因直接公式计算而引入误差，并根据阵列几何特性推导出基于延时比的声源位置计算公式，利用该公式得到粗略声源位置，用于缩小网格搜索范围，能够在保证实时性的同时，提高对听觉特征误差的鲁棒性。

    2. 提出了一种基于听觉特征的目标趋近控制方法。针对目前大部分声源趋近控制方法未考虑听觉特点，且控制性能易受声源定位误差影响的问题，本文提出了一种基于听觉特征的预测控制方法，该方法基于麦克风阵列与声源的几何关系构建了一个以听觉特征作为状态的系统模型，建立起听觉特征与机器人运动之间的直接关系。基于所构建的系统模型，该方法能够对多个未来时刻的听觉状态进行预测，提高了机器人的响应速度，并通过优化包含趋近效率和运动稳定性度量的目标函数获得对听觉感知误差更鲁棒的机器人控制量，实现更平稳、高效的目标趋近与跟踪。

    3. 提出了一种结合机器人运动信息的多声源定位与趋近控制方法。针对大部分传统声源定位算法不能估计声源距离，且难以处理不确定数量声源的问题，本文提出了一种结合机器人运动信息的多声源状态估计方法，该方法使用随机有限集对多声源状态和观测进行建模，能够应对声源数量随时间变化、观测中存在漏检、误检等复杂情况。该方法通过结合先前时刻的状态估计和机器人运动信息，能够对声源方位角和距离进行迭代估计，并通过设计基于听觉特点的状态更新与合并策略，提高了多声源状态估计的准确度和实时性。同时，为了能够借助机器人运动提升声源定位精度，提出了一种基于信息熵与状态误差的控制方法，推导建立了声源状态的熵与机器人运动之间的关系，设计了同时考虑提升定位精度和趋近声源两项要求的目标函数，通过优化目标函数获得机器人控制量，实现在提升声源定位精度的同时，准确、高效地完成目标趋近。

    4. 提出了一种融合视听觉信息的目标状态估计与趋近控制方法。针对单一听觉感知误差较大，且不能感知环境中的障碍，而单一视觉感知范围较小，易受遮挡影响的问题，本文提出了一种基于视听觉融合的目标状态估计方法，该方法基于第3项工作所构建的理论框架，根据视听觉感知特点分别构建视觉与听觉观测模型，将视听觉信息转换至统一空间，并设计了一种动态权重状态估计方法，能够根据视听觉观测质量动态调整其在状态更新计算中所占比重，进而实现更准确的视听融合定位。同时，为了提高视听觉观测精度，并避免机器人碰撞，提出了一种基于视听融合的目标趋近控制方法，该方法将相机深度信息和目标状态估计作为控制器的输入，设计了一个兼顾视听觉观测质量和避障性能的目标函数，通过该优化目标函数获得机器人控制量，能够在目标与机器人之间存在障碍的复杂情况下，控制机器人安全、高效地完成目标趋近任务。