学海网

硕士论文-基于条件随机场的中文命名实体识别研究，共71页，pdf格式。
摘 要
命名实体识别是自然语言处理领域的重要研究方向，是信息抽取、信息检索、信息过滤、问答系统、机器翻译等多种自然语言处理技术的重要基础。由于中文自身的特殊性和复杂性，中文命名实体识别技术的研究要落后于英文很多。为了促进相关自然语言处理技术的发展，研究中文命名实体识别技术具有重要的理论和现实意义。
本文主要研究基于条件随机场的以人名、地名、组织名为核心的中文命名实体识别相关技术。中文由于自身的特点，其内部隐藏着大量的可供命名实体识别使用的语义信息，本文首先通过比较语料中特定命名实体上下文中词汇的频度挖掘命名实体指示词，接着深度挖掘命名实体内部结构信息，然后再通过Wiki 扩展挖掘到的语义信息以建立外部语义知识库。在此基础上，本文将传统的词特征、词性特征、标记特征以及挖掘到的语义特征作为条件随机场模型的上下文特征进行命名实体识别，并通过实验验证了这些特征的有效性。最后本文设计了一种层次式的中文命名实体识别系统，通过实验表明，对于中文命名实体的识别达到了一定的精度，在1998 年1 月份《人民日报》语料上进行测试，对于人名、地名、组织名的识别的F 值分别达到了93.97%、91.49%、84.67%。
此外，对于大规模数据集，采用单机进行命名实体识别耗时较长，本文提出了一种基于Hadoop Map/Reduce 的并行化识别策略，实验取得了良好的效果，在我们的集群测试中，识别速度比单机提高了大约14 倍。
关键词：中文命名实体识别 条件随机场 语义知识 特征 并行

目 录
摘 要 V
ABSTRACT VI
第一章绪论 1
11 研究背景及意义 1
12 命名实体识别的研究现状 2
13 中文命名实体识别的难点 3
14 论文主要工作 4
15 论文结构安排 5
第二章命名实体识别相关研究方法 6
21 基于规则的方法 6
22 基于统计的方法 7
23 统计和规则混合的方法 9
24 条件随机场模型 10
241 图模型 11
242 生成模型和判别式模型 12
243 条件随机场的结构及其概率表示 14
244 参数估计及优化 15
245 条件随机场模型在命名实体识别上的应用 20
25 本章小结 21
第三章支持中文命名实体识别的外部语义库构建技术研究 22
31 命名实体指示词库的建立 22
311 识别命名实体指示词 23
312 基于Wiki 的命名实体指示词扩展方法 25
32 其他语义知识库的建立 26
33 本章小结 27
第四章基于条件随机场的中文命名实体识别中的特征选择研究 28
41 训练语料与标注集 28
411 命名实体标记集的选择 28
412 语料的选择与转换 29
42 特征模板 31
421 原子特征模板 31
422 组合特征模板 32
423 标记特征模板 33
424 语义特征模板 35
43 条件随机场模型中的特征生成与选择 36
44 特征验证 37
45 本章小结 42
第五章基于条件随机场的中文命名实体识别系统实现与优化 43
51 系统结构设计 43
52 层次式识别结构 44
53 系统评测 45
54 基于Hadoop 的并行化识别 45
541 Map/Reduce 基本原理 46
542 Hadoop 关于Map/Reduce 框架的实现 46
543 Hadoop Map/Reduce 在命名实体识别上的应用 47
544 实验结果及分析 48
55 中文命名实体识别在YHPOS 系统中的应用 49
56 本章小结 50
第六章结束语 51
致谢 53
参考文献 54
作者在学期间取得的学术成果 57
作者在学期间参加的科研工作 58