基于视觉关注分析的移动多媒体理解与应用
文献类型：学位论文
| 作者 | 臧存勋 |
| 学位类别 | 工学博士 |
| 答辩日期 | 2010 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 中国科学院自动化研究所 |
| 导师 | 卢汉清 |
| 关键词 | 移动多媒体 受关注内容分析 人机交互 受关注区域检测 图像浏览 mobile multimedia attention content analysis user interface attention region detection image browsing |
| 其他题名 | Visual Attention based Mobile Multimedia Understanding and Application |
| 学位专业 | 模式识别与智能系统 |
| 中文摘要 | 随着数字媒体生成技术和无线网络通讯技术的高速发展，移动多媒体内容正呈现爆炸式增长趋势，因此如何对其进行有效分析和管理已经成为亟待解决的问题。与此同时，目前移动环境下的多媒体内容分析和管理还存在着两大方面的难题。一方面是多媒体内容本身的理解；另一方面，移动设备上的多媒体内容分析和管理存在着先天的不足，即受制于移动环境下有限的屏幕尺寸、交互方式、网络带宽、CPU计算能力以及有限的电池容量。 本文借鉴人类的视觉关注机理，将交互式视觉关注度量引入移动多媒体内容分析与理解；并以此为基础，结合移动设备的特点与不足，深入分析移动用户需求，提出了多个面向移动环境的多媒体内容浏览、管理以及个性化定制方案。 本文的主要工作和贡献如下： 1、在图像内容的视觉关注度检测方面，不同于传统的图像受关注区域自动检测技术，本文引入了用户交互信息－“关注点”（point of interest），即观察者通过标注一个坐标点来对其所关注的图像内容进行简单提示；进而提出了基于“关注点”的弱交互式图像受关注区域检测的概念。 2、提出了一种基于多分布融合的弱交互式图像受关注区域快速检测方法。该方法通过分析“关注点”提供的语意信息对图像受关注内容进行快速有效地检测。在移动平台上进行的大量实验证明，所提出的弱交互式图像受关注区域检测方法具有良好的准确度；同时在执行速度方面，以现有移动平台上的CPU计算能力，基本上可以达到实时运行；因此非常适合于移动环境下的图像浏览应用。 3、提出了一种基于不对称S/T Graph Cuts的弱交互式图像受关注区域检测方法。该方法也基于所提出的“关注点”信息，并将图像“局部显著度分布”，用户关注度分布的“中央效应”和图像的“自相关”特性合理应用于交互式的Graph cuts理论框架；同上述所提出的图像受关注内容快速检测方法相比，该方法借助Graph cuts理论对图像分割内容边缘的良好约束能力，进一步提高了检测的鲁棒性。 4、将基于“关注点”的弱交互式图像受关注区域检测方法应用到移动环境下的图像浏览，设计了一套完整的移动设备上的个性化图像浏览与应用系统。该系统的主要特点有： 1)将用户交互方式－“关注点”标注，应用到移动设备上的图像浏览，借助所提出的基于“关注点”的弱交互式图像受关注区域检测方法的良好性能，经过移动平台上的大量实验证明，有效提高了移动环境下的图像浏览效率和用户体验（user experience）。 2)提出了一种基于“best-first-merging”聚类算法的图像浏览日志分析方法；并基于该方法为移动用户提供了两种个性化的图像展示方式：个性化图像缩略图和个性化图像幻灯片。同传统移动设备上的图像浏览系统相比，所提出的图像展示方式能够更好的满足移动用户在图像浏览过程中的个性化需求。 5、提出了一套面向移动环境的体育视频自适应传输与浏览方案，该方案基于体育视频内容的视觉关注分析和编码优化技术，主要特点有： 1）提出了一种基于Logo检测与内容上下文相结合的体育视频精彩事件检测方法，经大量实验证明，该检测方法有效降低了体育视频传输过程中的数据传输量，非常适合于... |
| 英文摘要 | This paper studies a series of research work as follows: 1. We import user interaction, i.e. “point-of-interest”, and propose the point-of-interest based weak interactive image attention detection. 2. We propose a distributions-fusion based weak interactive image attention detection method. Extensive experiments show that it is real-time on main-stream mobile devices and the results are encouraging. 3. We propose an asymmetrical Graph Cuts image attention detection method, which incorporates “local saliency map”, “center effect” of user's attention and image “self-correlation”. 4. With the “point-of-interest” weak interactive image attention detection, we propose a framework of personalized image browsing on mobile devices, which has the following characteristics: 1) With the good performance of the proposed image attention detection, a novel interaction approach, i.e. “point-of-interest” labeling, is designed to augment image browsing on mobile devices. Experiments prove that it effectively improves the efficiency and user experience. 2) A “best-first-merging” based method is presented to analyze image browsing log. Based on this method, we design both personalized image thumbnail and personalized image slide show. 5. We propose an integrated sports video browsing framework in mobile environment, which is based on both sports video attention analysis and coding optimization technology. The proposed framework has the following characteristics: 1) We propose a robust logo detection and context analysis based sports video highlights extractor, which can effectively reduce the amount of data transmission. 2) We propose a content-based video streaming coding scheme, which contains shot detection based variable-period intra-frame selection and attention region coding. Experiments show that it can effectively improve the performance of video coding. |
| 语种 | 中文 |
| 其他标识符 | 200518014628066 |
| 源URL | [http://ir.ia.ac.cn/handle/173211/6229]  |
| 专题 | 毕业生_博士学位论文 |
| 推荐引用方式 GB/T 7714 | 臧存勋. 基于视觉关注分析的移动多媒体理解与应用[D]. 中国科学院自动化研究所. 中国科学院研究生院. 2010. |
入库方式： OAI收割
来源：自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。