学海网

毕业论文-稳健语音识别的自适应噪声补偿方法，共77页，30497字
中文摘要
稳健性是语音识别系统走向实用化面临的一大难题，论文工作关注识别阶
段的自适应噪声补偿方法，从语音识别平台搭建开始，完整地介绍了具有噪声
稳健性的连续英文数字串识别系统的构建过程。
论文首先介绍了基于 HTK 的参考系统以及基于 GSP 的实验系统的搭建过
程。由于译码策略不同，两套系统解码器的隐含马尔科夫模型实现方式有所差
异，论文在深入分析这种差别的基础上，介绍了模型转换模块的设计与实现，
并通过实验结果验证了模型构建的正确性。与参考系统的解码器 HVite 的 0.03
倍实时相比，实验系统的解码器 grpdecoder 实时率达到 0.005 倍实时，解码 17
个小时的测试文件只需要 5 分钟，具有更高的译码效率。论文还通过实验结果
讨论了不同的特征提取方法、不同训练方式以及识别网络权重对结果的影响。
在此基础上，论文介绍了基于环境模型的自适应噪声补偿模块的原理与实
现。在理论分析方面，论文详细推导了倒谱域失配函数的表达式，利用矢量泰
勒级数处理失配函数的非线性，推导了声学模型参数更新公式，以及环境模型
参数估计的迭代公式，并在 Aurora2 数据集上给出了实验结果。
论文首先给出了利用初始噪声参数估计进行快速自适应的实验结果，达到
了 88.05%的平均识别率。加入基于首选状态序列的环境参数更新后，平均识
别率提升到 89.34%，利用多候选的状态图进行环境参数更新，平均识别率进
一步提升到 89.86%，远高于基线系统 60.59%的平均识别率，可见基于环境模
型的自适应方法效果显著。
关键词：语音识别；自适应噪声补偿；矢量泰勒级数

ABSTRACT
Robustness under noisy environment has become the bottleneck in the design
of real-world speech recognition systems. This thesis studies the noise-robustness
of decoding process. A speech recognition system with build-in model adaptation
module is built from the very beginning of experimental setup.
First, the thesis introduces the setup of HTK-based reference system of
Aurora2 experimental framework. To further enhance the effectiveness of decoding,
another GSP-based recognition system has been built to perform the experiment of
adaptation. Using the static decoding strategy, grpdecoder achieved a real-time
factor of 0.005, which is much faster than the 0.03 real-time of HVite.
Second, the design and implementation of the adaptation module is discussed
in detail, including the environmental model expression in cepstral domain, the
VTS-based acoustic model parameter adaptation formula, and the more
complicated environmental model’s parameter adaptation formula. Experimental
results on the database of Aurora2 have shown the effectiveness of model-based
adaptation method. After using initial noise parameter to update the clean codebook,
the recognition accuracy has been improved to 88.05%, compared with the
accuracy of 60.59% of the baseline system. Furthermore, by using the recognized
optimal state sequence to estimate the noise parameters, the recognition accuracy
has increased to 89.34%. Finally, by using the recognized multiple state sequences
represented as state graph to estimate the noise parameters, the system has achieved
the accuracy of 89.86%.
Keywords：Speech Recognition；Adaptive Noise Compensation；Vector Taylor Series

目录
第 1 章 引言..... 1
1.1 语音识别研究现状 ....1
1.1.1 隐含马尔科夫模型简介.1
1.1.2 基于隐含马尔科夫模型的语音识别系统 ...3
1.2 语音识别的稳健性问题 ......4
1.3 论文研究背景 ..5
1.4 论文结构安排 ..6
第 2 章 Aurora2 英文连续数字串识别系统搭建 ..... 7
2.1 基于 HTK 的参考系统搭建7
2.1.1 Aurora2 数据描述..7
2.1.2 参考系统结构框图.........8
2.1.3 HMM 模型定义.....9
2.1.4 MFCC 特征提取..10
2.1.5 语法网络生成.....12
2.1.6 实验流程说明.....13
2.1.7 实验结果分析.....15
2.2 基于 GSP 的实验系统搭建.........19
2.2.1 实验系统结构框图.......19
2.2.2 模型转换模块.....20
2.2.3 模型补偿模块.....23
2.2.4 实验结果分析.....24
2.3 本章小结........28
第 3 章 基于环境模型的自适应噪声补偿方法....... 29
3.1 稳健语音识别中的环境模型 ......29
3.2 声学模型参数更新 ..31
3.2.1 静态特征参数更新 ...... 31
3.2.2 动态特征参数更新 ...... 32
3.3 环境模型参数估计.. 33
3.3.1 环境模型参数初始化 .. 33
3.3.2 EM 算法基本思路 ........ 34
3.3.3 基于联合分布的 EM 算法 .... 35
3.3.4 基于参数变换的 EM 算法 .... 38
3.4 模型补偿模块设计与实现 40
3.5 实验设计与结果分析........ 42
3.6 本章小结 ....... 50
第 4 章 结论与展望 51
插图索引 ........ 53
表格索引 ........ 55
参考文献 ........ 57
致谢 ........ 59
声明 ........ 61
附录 A 调研阅读报告 ...... 63