随着人工智能技术的发展，智能机器人的应用越来越广泛，机器人不仅能够在工业领域提高生产效率，也能够为人类提供高效的服务。机器视觉作为机器人获取和感知外界信息的重要手段，是提高机器人智能化水平的关键技术之一，而如何从存在大量冗余、干扰和噪声的视觉内容中快速获取有价值的信息，直接影响了机器人学习的能力和效率。视频摘要（Video Summarization）技术目的是从多种信息中提取关键内容，有助于提高信息提取的高效性和灵活性。因此，本文研究了通过视频摘要提取重要信息并实现机器人学习的方法，赋予机器人对多种任务信息的更加灵活和自主的信息提取能力，并从中进行任务学习，从而提高机器人的智能化程度。

       本论文的研究工作通过模拟人对事物从概要到精细化的观察学习过程，从三个角度使用视频摘要对机器人捕获的视频信息进行关键内容的提取，包括通用视频摘要提取关键帧、任务关键词约束的视频摘要提取特定任务相关的片段、细粒度约束视频摘要提取特定任务下关键目标的运动序列，之后再通过上述层级摘要提取的关键内容进行规则学习，引导机器人学习并完成特定的任务。论文的主要工作和贡献如下：
       1. 针对通用视频摘要任务，提出了一种膨胀时序依赖对抗网络的方法，实现关键帧的提取，同时去除冗余信息以及噪声干扰，提高了视频摘要结果的准确度。算法提出了一种膨胀时序依赖单元，能够建模视频全局多尺度的时域信息，同时弥补长短时记忆网络中存在的对长序列记忆能力不足的问题，从而提高了时域特征的编码能力。在网络训练阶段，算法进一步提出了一种三元损失结构的对抗训练目标函数，通过学习较复杂的损失函数来对真实摘要中包含的高阶统计信息进行编码，并联合一个有监督的正则项使模型预测出更鲁棒的摘要结果。所提方法在三个公共数据集上进行了实验，结果验证了算法的有效性。
       2. 针对关键词约束的视频摘要任务，提出了一种查询关键词条件对抗网络的方法，以关键词表达为限定约束来指导摘要预测。算法提出了一种融合查询表达的三元条件对抗网络，同时引入摘要正则项和摘要长度正则项进行端到端的联合训练，使模型能够产生简洁且与关键词相匹配的摘要结果。针对此任务，还提出了一种深度强化学习摘要网络的方法。算法首先提出了一种映射网络用于学习视觉与文本表达之间直接的映射关系，并设计了两种模态之间的相关性评价指标，之后进一步提出了一种融合映射机制的深度强化学习摘要网络，联合相关性、表达性和多样性三种回报函数，通过最大化累积回报来使模型学习预测正确的决策序列。上述两种方法在公共数据集上进行了实验，结果验证了算法的有效性。
       3. 针对细粒度约束的视频摘要任务，提出了一种在线运动自动编码器网络的方法，提取视频中的关键运动目标及其关键的运动信息，实现更加精细化的实例级的摘要结果。算法首先提出了结合目标检测、多目标跟踪、运动轨迹分割、上下文特征提取等预处理操作，来获得每个精细物体运动片段的特征表达，之后进一步提出了一种在线运动自动编码器网络以模拟在线字典学习的方式，存储输入的物体运动信息并进行模型更新，最后使用由模型输出的重构误差预测出关键的物体运动片段，并将其作为摘要结果。所提算法在收集的监控数据集上进行了细粒度视频摘要的实验，同时也将算法进行相应调整，在视频帧级通用摘要的公共数据集上进行了实验，结果验证了算法的有效性。
       4. 针对机器人任务学习问题，提出了一种基于层级视频摘要的机器人学习方法，将层级摘要提取的关键信息作为机器人学习的知识并引导机器人完成特定的任务。算法提出了一种模拟人由概要到精细的观察和学习过程来实现机器人任务学习的方法，首先通过通用摘要去除冗余并提取关键视频帧，之后由关键词约束摘要获取与特定任务（关键词表示）相关的视频片段，再由细粒度摘要细化到关键的物体运动层面，最后，由摘要结果学习得到的规则引导机器人完成特定任务。以此，机器人能够一定程度地自主获取所需的关键知识，并为其学习不同种任务提供了可能，具有更好的灵活性和鲁棒性。所提方法在机器人平台上进行了实验，通过桌面整理任务的实现验证了方法的有效性。