学海网

毕业设计-分布式购物搜索系统的设计与实现，正文共119页，45386字，附任务书、开题报告、外文翻译
毕业设计基本内容和要求：
基本内容：
查询服务器负载均衡
基于Lucene的中文分析器的设计与实现
增量索引的实现
用户查询条件解析与意图分析、搜索结果的过滤和自定义排序
查询的分发、并发远程调用、结果汇总与展示
要求：
前端服务器负责转发请求至两台互相备份的查询服务器，并承担查询服务器活性检测职能
单个检索相应时间小于0.05秒 (只算检索端的进出时间，不考虑3G网络质量)
单台服务器相应的检索峰值为100个检索请求/每秒
根据请求客户端的不同，查询结果为html和xml两种形式
毕业设计重点解决的问题：
基于Lucene中文分析器的设计与实现、Java本地调用技术
Lucene文档相关度排序算法的改进
Java远程通讯技术选择、Java实现分布式对象技术的实现
毕业设计应完成的工作：
搜索引擎用户体验、移动用户体验相关文献积累
跨语言调用的编程积累
多线程并发编程积累
异构系统通讯编程积累
理解Lucene基本原理
项目相关文档的书写（需求、体系结构、详细设计、测试）
代码编写
毕业设计论文

本设计的研究重点包括：自定义中文分析器、倒排索引、索引增量、分布式并行查询、搜索结果自定义排序、分布式对象技术、负载均衡。
本设计的难点包括：分布式系统中Java远程通讯技术方案的选型、查询服务器多线程远程调度搜索服务节点的框架的设计、索引服务器本地调用C语言版本中文分词程序构造基于Lucene的中文分词器的设计、Lucene文档相关度排序算法的改进。
本设计的特色包括：提供了html和xml查询结果服务的双接口，移动互联网用户既可以通过手机浏览器搜索所需商品信息，又可以通过手机客户端享受购物搜索服务；中文分词器基于C语言分词程序构建，高效分词；查询服务器采用同构的基于Socket传输协议的RMI远程通讯协议，高效调度搜索服务节点；用户搜索关键词提示、用户查询条件智能解析与意图分析、更具性价比的排序方式等用户体验。

设计方案：
项目背景：
3G移动互联网飞速发展，移动手机用户需要专业化、精确化的垂直搜索服务。阿尔卡特朗讯的“先淘”手机比较购物搜索引擎应运而生。
理论基础：
软件工程、移动用户体验、分布式系统、全文检索
解决问题方法：
理论与实际相结合，参考移动用户体验，根据需求，查找相关理论书籍、电子期刊、学术论文等，在公司技术人员的指导帮助下完成技术实现。同时，在导师的指导下，完成论文的最后撰写。
解决问题的步骤：
分析手机比较购物搜索引擎的背景和发展现状
对搜索引擎、分布式等关键技术进行分析与研究
参考移动用户体验，进行需求调研与需求分析。
对索引查询子系统进行概要设计。
从分布式搜索集群搭建与集群节点实现角度，实现索引查询子系统。
系统集成与测试
系统部署，编写用户手册
预期成果：
完成对手机比较购物搜索引擎的背景与发展现状的分析。对分布式购物搜索系统设计的关键技术进行分析与研究。对索引查询子系统进行需求分析与概要设计。搭建分布式搜索集群，实现web负载均衡、分布式并行查询、远程方法调用、用户查询意图分析、用户搜索行为记录。实现分布式集群节点，重点实现自定义中文分析器、中文分词、全文索引、全量索引、增量索引、索引删除、全文检索、用户查询条件解析、搜索结果过滤与自定义排序。最终实现一个实用的手机比较购物搜索引擎。

中文摘要
本文研究了分布式购物搜索系统的产业背景和应用环境，分析了构建分布式购物搜索系统的关键技术。本文完成了分布式购物搜索系统的需求分析和概要设计，最终确定了构建分布式购物搜索系统的架构和主要方案。
本文实现了面向3G的手机比较购物搜索引擎的后台系统，重点实现了索引查询子系统。本文搭建了分布式搜索集群，重点解决了web负载均衡、分布式并行查询、远程方法调用、用户查询意图分析、用户搜索行为记录等问题。本文实现了分布式搜索集群节点，集成了高效的C语言中文分词系统，构建了基于Lucene的自定义中文分析器，实现了中文分词。实现了本机文档索引，包括全文索引、全量索引、增量索引、删除索引。实现了本机文档全文检索，包括查询条件解析、搜索结果的过滤与排序。根据市场需求，改进了Lucene文档相关度排序算法，实现了商品信息搜索结果按性价比方式排序。本文从分布式搜索集群搭建和集群节点实现角度，最终完成了实用的手机比较购物搜索引擎。
分布式购物搜索系统为移动互联网用户提供针对移动购物领域专业的、参考性强的、个性化的比较购物搜索服务，填补了市场空缺，具有应用价值。
关键词：分布式；购物搜索；全文检索；远程方法调用；Lucene

目　录
中文摘要 I
Abstract II
第一章 绪论 1
1.1 课题背景 1
1.2 手机比较购物搜索引擎发展现状 2
1.3 论文主要工作 5
1.4 论文组织结构 6
第二章 关键技术的分析与研究 8
2.1 搜索引擎的组成及工作原理 8
2.1.1 搜索引擎组成 8
2.1.2 搜索引擎工作原理 8
2.2 全文检索引擎Lucene 9
2.2.1 全文检索 9
2.2.2 Lucene实现机制 11
2.3 Java RMI技术 13
2.3.1 Java RMI背景 13
2.3.2 Java RMI体系结构及优点 14
第三章 需求分析 16
3.1 整体系统分析 16
3.2 索引查询子系统功能需求 18
3.2.1 基本查询 18
3.2.2 高级查询 19
3.2.3 基本排序 19
3.2.4 高级排序 19
3.2.5 查询意图分析 19
3.2.6 搜索行为分析 20
3.2.7 搜索关键词提示 20
3.3 索引查询子系统性能指标 21
第四章 概要设计 22
4.1 整体系统架构 22
4.1.1 总体框架 22
4.1.2 子系统功能 22
4.1.3 软件结构 24
4.2 索引查询子系统概要设计 25
4.2.1 功能结构 25
4.2.2 网络结构 27
4.2.3 软硬件环境 30
第五章 分布式搜索集群的搭建 31
5.1 负载均衡 31
5.1.1 Web负载均衡技术 31
5.1.2 网络结构 34
5.1.3 服务器网络配置 34
5.1.4 IP数据包流动 35
5.1.5 使用LVS-NAT实现负载均衡 35
5.2 远程方法调用 37
5.2.1 服务器通讯方式 37
5.2.2 远程方法调用的实现方法 39
5.2.3 索引服务器远程方法调用实现 40
5.2.4 查询服务器远程方法调用实现 41
5.2.5 服务器参数传递 43
5.2.6 远程方法调用时序分析 44
5.3 分布式并行查询 45
5.3.1 总体流程 45
5.3.2 用户搜索行为记录 46
5.3.3 查询分发与远程方法调用 48
5.3.4 搜索结果排序与展示 51
第六章 分布式搜索集群节点实现 53
6.1 自定义中文分析器 53
6.1.1 Lucene分析器 53
6.1.2 中文分词 56
6.1.3 自定义中文分析器的设计 59
6.1.4 自定义中文分析器的实现 63
6.2 商品信息索引 68
6.2.1 Lucene索引 68
6.2.2 建立索引 72
6.2.3 全量索引 76
6.2.4 增量索引 79
6.3 商品信息搜索 82
6.3.1 Lucene搜索 82
6.3.2 商品信息搜索的实现 85
6.4 搜索结果自定义排序 87
6.4.1 Lucene文档相关度评分机制 88
6.4.2 文档相关度排序算法的改进 88
6.4.3 Lucene对自定义排序的支持 90
6.4.4 搜索结果自定义排序的实现 91
第七章 总结与展望 93
7.1 总结全文 93
7.2 展望未来 93
参考文献 95
致谢 97
附录 98
附录一 外文文献原文 98
附录二 外文文献译文 107

论文主要工作
本人在企业实习中参加实际研发项目——“先淘”手机比较购物搜索引擎。本论文课题源于“先淘”手机比较购物搜索引擎服务端的索引查询子系统的实际设计与开发工作。
论文主要工作如下：
介绍了手机比较购物搜索引擎的产业背景、发展现状，对构建分布式购物搜索系统的搜索引擎、分布式等关键技术进行了分析与研究。
介绍了“先淘”手机比较购物搜索引擎总体结构，对索引查询子系统进行了需求分析与概要设计，确定了构建分布式购物搜索系统的架构和主要方案。从分布式搜索集群搭建和分布式搜索节点实现角度，完成了实用的手机比较购物搜索引擎。
在搭建分布式搜索集群时，重点解决了web负载均衡、分布式并行查询、远程方法调用、用户查询意图分析、用户搜索行为记录等问题。利用Java RMI技术，将节点服务器上的本地全文搜索功能封装成分布式对象，结合Java并发技术，实现了分布式并行查询。
在实现集群节点时，分析了Lucene的文本分析机制和Lucene中文分析的不足，结合企业已有的高性能可扩展C语言中文分词程序，利用本地调用技术，构造自定义中文分析器，实现了中文分词。分析了Lucene的索引机制，实现了对商品信息XML文档进行全文索引、全量索引、增量索引和索引删除。分析了Lucene的查询机制，实现商品信息全文检索，包括查询条件解析、搜索结果的过滤与排序。在Lucene原有的文档相关度评分算法基础上，结合比较购物搜索领域商品销量、价格等属性，形成了改进后的文档相关度排序算法，实现了商品信息搜索结果按性价比方式排序。

论文组织结构
本文共分七章，具体内容安排如下：
第一章介绍了课题背景、手机比较购物搜索引擎的发展现状，并阐述了论文的主要工作和组织结构。
第二章对本课题涉及的关键技术进行了分析与研究，包括搜索引擎的组成及工作原理、全文检索引擎Lucene和用于分布式对象通信的Java RMI技术。
第三章对手机比较购物搜索引擎整体系统进行分析。对索引查询子系统进行了详细的需求分析，包括功能需求和性能指标，为后续的设计实现打下基础。
第四章介绍了手机比较购物搜索引擎总体框架、子系统划分和功能、软件结构。对索引查询子系统进行了概要设计，包括功能结构、网络结构、软硬件环境等。
第五章从分布式搜索集群搭建的角度对索引查询子系统进行分析与实现，包括负载均衡、远程方法调用和分布式并行查询。
第六章对分布式集群节点进行实现。构造了自定义中文分析器，实现了中文分词、索引、全文检索与自定义排序。
第七章对论文全文进行了总结，并对未来进行了展望。