学海网

毕业论文 Top-Rank-K模式挖掘研究及其在网络监测中的应用（共43页，27235字）
摘要
频繁模式挖掘是数据挖掘问题中一个重要的研究领域，目前已经提出了许多算法用于高效地发现大规模数据库中的频繁模式集。但是对于Top-Rank-K的挖掘并没有进行相关的大量工作。而其在实际需求中又有着广泛的应用。另一方面，在网络异常监测领域，目前大部分采用的方法如取样，计数等并没有用到数据挖掘的方法，因此结果并不精确，在这方面的研究也并不充分。因此，本文一方面研究了基于垂直的Top-Rank-K挖掘，大大地改进了算法的效率；另一方面，研究了用本文提出的Top-Rank-K挖掘，对网络异常的情况进行监测，并提出相应的改进。实验结果表明，利用Top-Rank-K的算法，能快速的得到一个海量数据库中的Top-K有用信息，并且对于网络异常监测有着重要的意义。
关键字 数据挖掘，Top-Rank-K，垂直挖掘，网络异常监测
目录
摘要 2
ABSTRACT 3
目录 4
图表目录 5
第一章 引言 6
1.1 研究背景 6
1.2 研究动机 7
1.3 主要贡献 8
1.4 论文组织结构 9
第二章 问题描述 9
2.1 关联规则 9
2.2 频繁模式挖掘 10
2.2.1相关定义 10
2.2.2 Apriori算法 11
2.2.3 FP-growth算法 13
2.2.4 垂直挖掘算法 13
第三章 TOP-RANK-K算法描述 15
3.1 关于TOP-RANK-K挖掘的定义 15
3.2 利用垂直的方法挖掘TOP-RANK-K PATTERNS 16
第四章 网络异常监测技术介绍 19
4.1 网络异常检测技术的特点和要求 19
4.2 网络攻击简介 20
4.2.1 DoS攻击 20
4.2.2 蠕虫 21
4.3 相关工作的分析与研究 22
4.3.1 抽样(sampling)方法 22
4.3.2 散列(hash)方法 23
4.3.3 计数(counting)方法 24
4.4 用数据挖掘技术处理网络异常监测的优点和前景 25
4.4.1对已有技术的总结 25
4.4.2垂直挖掘应用到网络异常监测之后的优点 25
第五章 用TOP-K技术监测网络异常 25
5.1 系统模型框架 26
5.2 基于网络异常监测的TOP-K算法的改进 29
5.3 熵的定义 33
第六章 实验结果及性能分析 34
6.1 TOP-RANK-K算法的实验结果分析 34
6.1.1 实验环境 34
6.1.2 实验数据 35
6.1.3 时间比较 35
6.2将基于垂直的TOP-RANK-K算法应用到网络异常监测后的结果分析 37
6.2.1 实验环境 37
6.2.2 实验数据 37
6.2.3 实验结果 38
第七章 总结以及对未来的展望 41
参考文献 42
致谢 44
图表目录
图表 1 正常数据库 14
图表 2 垂直数据库 14
图表 3 网络报文流分析模型 19
图表 4 DDOS攻击模型示意 21
图表 5 蠕虫攻击模型 22
图表 6多级散列原理图 23
图表 7 网络异常处理总体框架 27
图表 8 异常分析系统结构图 28
图表 9 网络流量信息示意 29
图表 10 改进后的基于垂直的Top-Rank-K算法 31
图表 11 第二遍扫描系统 32
图表 12 流量检查和熵检查的对比 34
图表 13 Top-Rank-K和原始方法的对比 35
图表 14 FAE_Trie和Vertical 以及原始FAE方法的对比 36
图表 15 FAE_Trie和Vertical Top-Rank-K方法在的对比 36
图表 16 只对某个属性进行分解 39
图表 17 Multidimensional的结果 40