您现在正在浏览:首页 > 论文 > 计算机 > 博士论文-面向多层次认知的海量多媒体检索技术研究

免费下载博士论文-面向多层次认知的海量多媒体检索技术研究

  • 资源类别:论文
  • 资源分类:计算机
  • 适用专业:计算机应用技术
  • 适用年级:大学
  • 上传用户:xuehai
  • 文件格式:word
  • 文件大小:24.92MB
  • 上传时间:2013-6-26 2:31:25
  • 下载次数:0
  • 浏览次数:43

安全检测:瑞星:安全 诺顿:安全 卡巴:安全

资料简介

博士论文-面向多层次认知的海量多媒体检索技术研究,共167页,112820字,word文档格式
摘 要
随着网络和计算机技术的发展,如何对网络上爆炸性增长的多媒体数据进行有效的
分析和检索已经成为多媒体内容分析领域亟待解决的问题。为了对这个问题进行分析并
提出相应的解决方法,本文对三种重要的网络多媒体数据(海量部分内容重复图片、海
量语义相似图片、音乐视频和电影视频)的有效检索方法进行了研究。本文首先对三种
数据各自的内容特点和对应的检索问题进行了讨论,然后从三个不同的认知层次:底层
特征匹配层、语义理解层、情感理解层,分别对这三种数据的内容分析和检索算法进行
了深入的研究。
对于海量部分内容重复图片(large-scale partial-duplicate images),本文提出了基于底
层局部视觉特征提取与匹配的检索研究。为了实现快速准确的局部特征匹配,本文提出
了新的图片视觉单词特征:描述性视觉单词、描述性视觉词组和上下文视觉单词。和传
统视觉单词相比,描述性视觉单词和描述性视觉词组对图片中的物体具有更强的描述能
力,所以更适合表达图片中的视觉内容。上下文视觉单词一定程度上改善了传统感兴趣
点检测方法的不足,克服了传统视觉单词丢失空间信息和语义上下文信息而导致的描述
能力差的问题。本文在海量图片检索任务中对提出的视觉单词特征进行了测试。实验结
果显示,本文提出的新特征在保证较高检索效率的同时,取得比传统的视觉单词特征更
高的检索准确率。基于提出的新特征,本文最终实现了一个海量部分内容重复图片检索
系统,并将该系统应用到了不同的图片检索任务中。
对于海量语义相似图片,本文提出了基于图片语义理解的检索研究。通过挖掘和提
取海量弱标注网络图片中的有用知识,本文生成了更加紧凑、有效的知识库:ObjectBook
和 ObjectNet。ObjectBook 由经过标注的图片区域组成,它可以作为知识库应用于 K 近
邻算法中对未知图片进行标注。ObjectNet 除了包含标注过的图片区域,还含有不同物体
之间的共生信息。利用共生信息,基于 ObjectNet 的图片标注算法可以获得更好的标注
准确率。ObjectBook 和 ObjectNet 从海量网络图片库中学习得到,所以相对于传统的图
片标注算法,它们能更好的适用于海量图片标注任务。另外,在 ObjectBook 和 ObjectNet
的基础上,本文还提出了基于倒排表的图片索引和检索算法。本文在海量图片标注和图
片语义检索任务中对提出的方法进行了测试。实验结果显示,ObjectBook 和 ObjectNet
可以实现高效、准确的图片语义标注和图片语义检索。
对于网络电影视频和音乐视频,本研究并提出了基于视频情感信息理解和情感可视
化的检索研究。本文使用心理学维度情感模型对视频情感进行表示,使用支持向量回归
模型(Support Vector Regression, SVR)对不同的情感维度分量进行建模,并利用用户反
馈信息实现了个性化情感模型学习。本文还对不同音视频特征在视频情感分析中的有效
性进行了验证。为了将抽象的情感变得直观、具体,本文提出了情感可视化方法。情感
可视化方法可以作为情感分析方法与用户之间的桥梁,能直观地向用户展示视频中包含
的情感信息,并能有效的接收用户的情感查询输入。本文通过用户研究(user study)的
方式构建了测试数据集,并对基于情感的视频检索性能和情感可视化方法进行了测试。
实验结果显示,本文提出的情感分析方法具有较高的准确度,提出的情感可视化方法比
现有的情感信息表达方法更加直观有效。基于提出的情感分析算法和情感可视化方法,
本文最终实现了两个应用原型系统:P.Video 和 Movie Affective Player。
关键词:部分内容重复图片检索;图片语义检索;视频检索;多媒体信息检索;视觉单
词;图片标注;视频情感分析; 情感可视化

目 录
摘 要............... I
目 录. i
图目录.............. v
表目录............. ix
第一章 引言.... 1
1.1 研究背景............. 1
1.2 国内外研究动态. 2
1.3 研究问题的提出 3
1.4 本文的研究内容和贡献 ... 7
1.5 论文的框架和组织............ 9
第二章 多媒体检索研究相关工作综述......11
2.1 海量部分内容重复图片检索 ...........11
2.1.1 图片局部特征提取 13
2.1.2 视觉单词生成........ 15
2.1.3 图片索引与检索.... 17
2.1.4 检索后处理与空间关系验证 ............... 18
2.1.5 部分内容重复图片检索的应用 ........... 19
2.1.6 存在的问题............ 19
2.2 图片语义检索.. 20
2.2.1 基于语义标注的检索方法..... 20
2.2.2 基于中层语义特征的检索方法 ............ 21
2.2.3 海量图片语义检索的应用.... 22
2.2.4 存在的问题............ 23
2.3 视频情感分析.. 23
2.3.1 基于分类的情感分析............ 23
2.3.2 基于维度情感模型的情感分析 ........... 24
2.3.3 视频情感分析的应用............ 27
2.3.4 存在的问题............ 27
第三章 基于高效视觉单词的海量部分内容重复图片检索 .... 29
3.1 描述性视觉单词、描述性视觉词组 ............. 29
3.1.1 方法动机和简介.... 29
3.1.2 描述性视觉单词描述性视觉词组候选生成 ....... 32
3.1.3 描述性视觉单词的构建........ 34
3.1.4 描述性视觉词组的构建........ 37
3.2 上下文视觉单词.............. 38
3.2.1 方法动机和简介.... 38
3.2.2 局部特征过滤........ 42
3.2.3 局部特征组合提取 44
3.2.4 局部特征组合相似度计算.... 45
3.2.5 上下文视觉单词生成............ 48
3.3 实验.. 48
3.3.1 实验数据收集........ 48
3.3.2 描述性视觉单词、描述性视觉词组性能评价 .... 49
3.3.3 上下文视觉单词检索性能评价 ............ 56
3.4 小结.. 59
第四章 基于海量弱标注网络图片挖掘的图片语义标注与检索 ............ 61
4.1 基于 ObjectBook 的海量图片语义检索 ........ 61
4.1.1 方法动机和简介.... 61
4.1.2 ObjectBook 的构建 64
4.1.3 基于 ObjectBook 的图片检索 .............. 71
4.2 基于 ObjectNet 的海量图片语义标注与语义检索....... 73
4.2.1 方法动机和简介.... 73
4.2.2 ObjectNet 的构建 ... 75
4.2.3 基于 ObjectNet 的图片标注和语义检索 ............. 77
4.3 实验... 79
4.3.1 实验数据和实验设置............ 79
4.3.2 ObjectNet 和 ObjectBook 的标注性能评价.......... 79
4.3.3 ObjectBook 和 ObjectNet 检索性能评价.............. 82
4.4 小结.. 85
第五章 基于内容情感分析的视频检索..... 87
5.1 个性化音乐视频情感分析 ............. 87
5.1.1 方法动机和简介.... 87
5.1.2 情感特征的提取.... 90
5.1.3 个性化情感模型的建立........ 93
5.1.4 基于情感可视化的音乐视频检索 ....... 96
5.2 电影情感分析.. 99
5.2.1 方法动机和简介.... 99
5.2.2 情感特征的提取与电影情感模型建立 ............. 100
5.2.3 电影情感可视化.. 102
5.3 音乐视频情感分析实验. 104
5.3.1 实验数据收集....... 104
5.3.2 情感特征有效性证明.......... 105
5.3.3 个性化音乐视频情感模型有效性证明 ............. 106
5.3.4 用户搜索满意度评价.......... 107
5.3.5 情感可视化有效性证明...... 109
5.4 电影视频情感分析实验 110
5.4.1 实验数据收集........110
5.4.2 情感特征有效性证明...........111
5.4.3 电影情感模型有效性证明...111
5.5 小结.113
第六章 实验验证系统 115
6.1 海量图片检索系统.........115
6.1.1 概述 .......115
6.1.2 海量图片索引和检索...........116
6.2 个性化视频服务系统:P.Video ... 120
6.2.1 概述 ...... 120
6.2.2 视频检索模块...... 121
6.2.3 视频管理模块...... 123
6.2.4 个性化视频推荐模块.......... 124
6.3 基于情感信息的电影检索系统:Movie Affective Player.......... 125
6.3.1 概述 ...... 125
6.3.2 基于情感的电影播放器...... 126
6.3.3 基于情感的电影片段检索模块 ......... 127
第七章 全文总结与研究展望 ... 129
7.1 全文总结......... 129
7.2 研究展望......... 130
参考文献...... 133
致 谢............... i
作者简介......... iii

图目录
图 1.1 网络多媒体数据类型示意图 ............. 3
图 2.1 海量部分内容重复图片检索示例 ... 12
图 2.2 海量部分内容重复图片检索框架 .... 12
图 2.3 DoG 感兴趣点检测子示意图 ........... 13
图 2.4 SIFT 特征提取示意图 ....... 14
图 2.5 空间验证示意图:(a)两幅图片中错误匹配的视觉单词(红线);(b)正确匹配的视觉单词(红线)和错误匹配的视觉单词(蓝线) ... 18
图 2.6 心理学维度情感模型示意图:(a)心理学三维情感模型[16];(b)简化的二维情感模型.... 24
图 3.1 部分内容重复图片之间和不相关图片之间匹配的视觉单词....... 29
图 3.2 两幅含有不同视觉内容的图片和它们含有的视觉单词特征....... 30
图 3.3 本文提出的 DVW 和 DVP 特征生成框架 ..... 31
图 3.4 1506 个图片类别中的 DVW 候选数量统计 ... 32
图 3.5 本文提出的 DVP 候选检测子 ......... 33
图 3.6 1506 个图片类别中的 DVP 候选数量统计 ..... 34
图 3.7 视觉单词在不同的图片类别中的出现频率 ... 34
图 3.8 DVW 候选、选择的 DVW、两幅图片中匹配的传统视觉单词和 DVW ... 36
图 3.9 不同图片类别中生成的 DVP 和图片之间匹配的 DVP 38
图 3.10 SIFT 特征提取算法会产生对图片变换比较敏感的局部特征 .... 39
图 3.11 单个局部特征不能有效保持图片中的空间信息 .......... 39
图 3.12 视觉单词的量化误差会对视觉单词组合产生负面影响............. 39
图 3.13 传统欧氏距离缺点示例 .. 40
图 3.14 判别组合距离图示 ......... 41
图 3.15 本文提出的上下文视觉单词生成框架 ......... 41
图 3.16 从感兴趣点中提取的三部分信息 P(S, O, D) ............... 42
图 3.17 局部特征过滤示例 ......... 43
图 3.18 本文提出的局部特征组合检测子 . 44
图 3.19 匹配序列示意和基于空间信息的最佳匹配序列......... 45
图 3.20 本文使用的图片检索数据库示例 . 49
图 3.21 不同特征的检索性能对比 ............. 50
图 3.22 三种特征索引文件大小和检索效率对比 ..... 50
图 3.23 基于 DVW 和 DVP 的部分内容重复图片检索示例和图片之间匹配的 DVP.......... 51
图 2.24 DVP 特征可以有效描述的图片示例(a)和 DVP 失效的图片示例(b) ......... 52
图 2.25 不同特征对应的物体分类性能 ..... 53
图 3.26 图片检索重排序的性能和效率比较 ............. 55
图 3.27 9 组方法检索性能比较 ... 56
图 3.28 四种特征在海量图片检索任务中的 MAP 比较 .......... 57
图 3.29 四种特征的检索效率比较 ............. 58
图 3.30 基于上下文视觉单词的部分内容重复图片检索示例. 58
图 4.1 网络图片中的背景噪声和标注噪声对标注影响示例... 62
图 4.2 ObjectBook 和基于 ObjectBook 的图片语义检索 .......... 63
图 4.3 图片区域提取.... 64
图 4.4 K 均值聚类算法缺点图示 66
图 4.5 基于两种信息的相关度计算图示 ... 67
图 4.6 ImageNet 1000 个图片类别中生成的图片区域组合数量统计 ...... 68
图 4.7 ImageNet 的四个图片类别中生成的图片区域组合示例 ............... 69
图 4.8 图片区域组合标注思想示意图 ....... 70
图 4.9 基于 ObjectWord 的图片索引结构.. 72
图 4.10 ObjectNet 和基于 ObjectNet 的图片标注和图片检索 .. 73
图 4.11 生成的 ObjectNet 示例 ... 77
图 4.12 三种标注算法的标注准确率和效率对比 ..... 81
图 4.13 本文提出的图片标注算法和 ILSVRC2010 中报告的标注算法性能对比 81
图 4.14 基于 ObjectNet 的图片标注示例... 82
图 4.15 不同图片检索算法的检索精度和检索效率比较......... 84
图 4.16 基于 ObjectBook 和 ObjectNet 的图片语义检索示例 . 85
图 5.1 维度情感模型示意图 ....... 88
图 5.2 本文提出的音乐视频情感分析框架 ............... 89
图 5.3 两个音乐视频之间运动强度特征、镜头切换速率特征、声音过零率特征对比 ...... 91
图 5.4 两段音乐信号之间的 onset 和节奏信息对比. 92
图 5.5 两个视频帧 H、S、V 分量上的颜色直方图对比......... 93
图 5.6 用于收集用户打分和反馈的界面 ... 94
图 5.7 二维情感空间和空间中的音乐视频 ............... 97
图 5.8 音乐视频情感可视化示意图 ........... 97
图 5.9 基于情感可视化的音乐视频检索界面 ........... 99
图 5.10 本文提出的电影情感分析框架 ..... 99
图 5.11 情感强度曲线和情感类型曲线示例 ............ 101
图 5.12 基于颜色的电影情感可视化和基于情感空间的电影情感可视化........... 103
图 5.13 电影情感可视化示例 ... 103
图 5.14 情感特征的有效性对比 105
图 5.15 三种情感模型性能对比 ............... 106
图 5.16 用户检索性能满意度评测结果 ... 108
图 5.17 情感可视化有效性验证结果 ....... 109
图 5.18 音视频特征对电影情感分析有效性验证结果 ............111
图 5.19 电影情感分析方法性能测试结果 112
图 5.20 电影情感分析方法对不同类型电影的性能对比........113
图 6.1 海量图片检索系统界面 ...115
图 6.2 上下文视觉单词和传统视觉单词在图片检索系统中的性能对比..............118
图 6.3 基于上下文视觉单词的地标检索应用示例 ..119
图 6.4 P.Video 系统主界面 ......... 120
图 6.5 P.Video 视频检索界面 ..... 122
图 6.6 P.Video 对不同情感检索区域返回的视频列表............. 123
图 6.7 P.Video 视频管理界面 ..... 123
图 6.8 P.Video 个性化视频推荐界面 ......... 125
图 6.9 Movie Affective Player 系统主界面 125
图 6.10 电影播放器模块界面 ... 126
图 6.11 电影播放界面 127
图 6.12 电影片段检索界面 ....... 128
图 6.13 电影片段检索模块中的电影片段播放界面 ............... 128

表目录
表 3.1 测试图片类别名称和相应的训练图片类别对应的检索词........... 53
表 3.2 索引文件大小对比 ........... 57
表 5.1 本文提取的音视频底层特征 ......... 100
表 5.2 用户的情感打分选项和对应的描述与情感标注信息. 104
表 5.3 用户对音乐视频组指定的情感标签 ............. 109

资料文件预览
共1文件夹,1个文件,文件总大小:29.02MB,压缩后大小:24.92MB
  • 博士论文-面向多层次认知的海量多媒体检索技术研究
    • Adobe Acrobat可导出文档格式文件博士论文-面向多层次认知的海量多媒体检索技术研究.pdf  [29.02MB]
下载地址
资料评论
注意事项
下载FAQ:
Q: 为什么我下载的文件打不开?
A: 本站所有资源如无特殊说明,解压密码都是www.xuehai.net,如果无法解压,请下载最新的WinRAR软件。
Q: 我的学海币不多了,如何获取学海币?
A: 上传优质资源可以获取学海币,详细见学海币规则
Q: 为什么我下载不了,但学海币却被扣了?
A: 由于下载人数众多,下载服务器做了并发的限制。请稍后再试,48小时内多次下载不会重复扣学海币。
下载本文件意味着您已经同意遵守以下协议
1. 文件的所有权益归上传用户所有。
2. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
3. 学海网仅提供交流平台,并不能对任何下载内容负责。
4. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
5. 本站不保证提供的下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
论文相关下载
返回顶部