视觉伺服利用视觉信息作为反馈对机器人位置和姿态进行调节控制，经常会遇到目标脱离相机视野、目标遮挡等观测问题，导致视觉伺服任务的鲁棒性较差甚至失败。为此，本文提出了一种基于Eye-in-Hand 和Eye-to-Hand 结构的复合视觉伺服系统，其主要特点为：利用移动机器人作为观测者，可根据机械臂（作业者）和目标物体之间的相对位姿关系主动调整自身相机的观测位姿，在避免目标脱离视野和发生遮挡的同时改善目标物体的成像质量；机械臂作为作业者，接收观测者发送的目标位姿信息进行作业任务。本文围绕上述所提出的复合视觉伺服系统中的观测者主动观测问题，做出了以下四个方面的贡献：

（1）针对运动过程中的目标快速跟踪问题，提出了一种相机姿态自适应调节控制算法。该算法根据移动机器人Pan-Tilt相机的运动学模型，利用移动机器人运动参数对相机的跟踪控制进行实时补偿调节，并通过实时在线更新自适应参数避免了基于图像的视觉伺服方法需要求取目标深度的问题。同时，针对上述自适应跟踪控制器可能存在的奇异性问题，提出了一种控制器自动平滑切换策略，实现了自适应跟踪控制器与比例控制器之间的平滑稳定切换，保证了整个目标跟踪控制器的整体稳定性和鲁棒性。在对上述算法和策略给出理论证明的基础上，通过实验充分验证了自适应跟踪控制算法的稳定性、适应性以及控制器自动平滑切换策略的有效性。

（2）为了改善视觉伺服过程中的目标脱离相机视野、目标被遮挡等观测问题，提出了面向单目标和多目标的相机观测位姿优化算法。针对单目标的最优观测问题，给出了最优观测位姿和次优观测位姿的定义及其在线动态实时计算的方法。针对多目标最优观测问题，结合视野约束、距离约束、位姿约束设计了相机观测质量度量函数，以对相机观测质量进行定量评估；针对该函数的优化问题，提出了一种基于虚拟成像的相机观测位置优化算法；移动机器人趋近计算所得的最优观测位姿，并借助于相机跟踪控制器实现相机观测姿态的动态调节，进而实现了面向多目标主动观测的动态整体优化。利用实验对单目标观测位姿优化算法与多目标观测位姿优化算法的有效性进行了充分验证，实验结果表明：上述算法能够有效避免目标脱离相机视野、目标被遮挡等观测问题。

（3）为使移动机器人在运动过程中，能够将多个分散的特征点同时保持在相机视野范围内，提出了一种面向多特征点视野约束的最短路径规划算法。首先根据特征点分布以及相机物理视角限制，求出无法同时将多个特征点保持在视野内的视野约束区域；为规划可以避开视野约束区域的路径，移动机器人根据求出的视野约束区域，对可运行区域进一步划分，然后基于几何方法规划出最短运行路径。实验证明，所提方法计算的相机视野约束区域接近于真实的相机视野约束区域；移动机器人在趋向期望位置的过程中，沿着规划的路径可以将所有特征点同时保持在相机视野内。

（4）提出并设计了一种结合Eye-in-Hand和Eye-to-Hand结构的复合视觉伺服系统。该复合视觉伺服系统由移动机器人系统和机械臂系统组成。移动机器人采用面向多目标的相机观测位姿优化算法实时优化相机观测位姿，然后将优化计算所得位置作为期望位置，采用面向多特征点视野约束的最短路径规划算法规划路径。移动机器人沿规划路径趋向最优观测位姿，并采用自适应跟踪控制器对相机姿态进行实时动态控制，以将目标始终保持在相机视野内。机械臂系统利用移动机器人感知得到的目标位姿信息完成面向作业的视觉伺服任务。实验表明，本文所提出的复合视觉伺服系统能够有效规避传统视觉伺服所存在的目标遮挡、目标脱离视野以及由于距离过近所导致的视野盲区问题。