学海网

毕业设计 Web信息抽取中的文本分类 共72页，25713字
摘 要
在机器学习理论中支持向量机（SVM）有着重要的地位，无论是求解分类问题还是求解回归问题，SVM都有着广泛的应用。本文简单的介绍了SVM的基本原理，讨论了SVM在文本分类中的应用，并详细的分析了如何利用SVM构造文本分类器。这里说明了文本分类的详细处理过程，并介绍了这些过程中的关键技术，如：分词技术、向量空间模型（VSM）、特征选取技术和SVM的交叉验证技术等等。结合着分析和讨论又概略的说明了利用Microsoft Visual C++ 6.0创建文本分类系统的过程，介绍了重要的类和关键处理函数的实现和优化，以及如何利用动态链接库来实现C++到Java的迁移。最后给出了由本系统得到的实验数据和结论。
关键字： 机器学习 文本分类 支持向量机（SVM）

目 录
第一章 引言 1
1.1 总体项目背景 1
1.1.1 基于Web的信息集成系统 1
1.1.2 基于Web的信息集成系统的需求和系统结构 2
1.2 文本分类系统的任务和目标 3
1.3 本文主要研究内容 4
第二章 相关理论 7
2.1 文本自动分类 7
2.3 支持向量机(SVM) 8
2.4 SVM的原理 9
2.4.1 线性支持向量机 9
2.4.2 非线性支持向量机 11
2.5 SVM文本分类 13
第三章 需求分析 15
3.1 SVM的两个阶段 15
3.2 训练阶段目标 16
3.3 测试阶段目标 18
3.4 外部接口 18
第四章 总体设计与实现工具的选择 21
4.1 总体结构 21
4.2 训练阶段 21
4.2.1 分词及词频统计 21
4.2.2 文本向量空间模型(VSM)及文本特征选取 27
4.2.3 文本向量化 31
4.2.4 文本分类器 32
4.3 测试阶段 36
4.3.1 分词及词频统计 36
4.3.2 文本向量化 36
4.3.3 分类处理 37
4.4 实现工具的选择与跨语言迁移 37
第五章 详细设计与实现 39
5.1 界面设计 39
5.2 配置文件config.xml 40
5.3 LIST类 40
5.4 Frequency类 42
5.5 partition函数 43
5.6 SORT类 46
5.7 预处理与文本特征的选择策略的设计 47
5.8 scale方法与Matrix.txt文件的生成 49
5.9 libsvm调用 51
5.10 动态链接库SVMDLL.dll的实现和接口定义 54
第六章 测试及结果 57
6.1 二分测试 57
6.2 多分测试 59
6.3 测试总结 61
6.3.1 二分情况 61
6.3.2 多分情况 62
致谢 63
参考文献 65