学海网

毕业设计-基于E-learning的表情特征提取，共39页，16937页，附开题报告等
主要内容
本课题主要的研究内容是提取必要的表情特征参数，提取的特征参数主要有
三部分构成：
（1）人脸面积，用于情绪建模中趋避度的研究。
（2）眼帘间距，用于情绪建模中振奋度的研究。
（3）嘴角弧度，用于情绪建模中愉悦度的研究。
表情特征提取是人脸表情识别中的重要步骤，有效地表情特征提取工作将使
其后的分类性能大大提高。人脸表情特征提取是在人脸检测的基础上，在人脸
所在区域中获取人脸面部特征信息的过程。 作为情绪识别的重要因素，在情感
教学系统中，主要需要考虑永久性的面部特征，如：人脸，眼睛，嘴等。[7]
究竟哪些特征可以作为识别表情的特征，早前的学者做出了研究。Horowitz
和Rosenfeld研究发现，眼睛区域能够解释情绪最显著的特征；Walden和Field的
研究认为，眼部区域是愤怒和快乐情绪的显著判别指标。Cunningham则认为，
对大多数表情而言，嘴角区域能提供更多的信息。但他同时提到对于愤怒和快
乐，眼部区域的作用更为重要。因此可以发现：脸部的某些关键区域在人们对
表情的识别和分辨中其主要作用，而其中公认的就是眼部区域和嘴角区域，可
见嘴角和眼部区域对各类表情贡献较大。
眼睛是人面部最重要的器官，包含了许多有用的特征。人眼定位是其他面
部特征提取的基础。目前眼睛定位的研究方法很多，但是大多数方法的计算量
比较巨大，并且对输入图像的要求也比较高，不适合对实时性有一定要求并且
背景环境较为复杂的E-learning教学系统。如今常用的人眼检测方法主要有
Hough变换法、主元分析法（PCA）可变形模板法和边缘特征法等等。
嘴巴是人脸中又一重要特征，作为表情特征的又一重要信息，其唇色特征明
显较人脸肤色颜色深，且边缘多，这为嘴唇的检测定位提供了便捷。并且最重
要的是在由学习者的情绪变动时，嘴唇会发生剧烈的变化，这对于情感认知交
。。。。。。。。

摘要
E-Learning是一种网络环境下的现代教育模式，如今受到了越来越多的关注。人的面部表情含有丰富的人体行为信息,在人与人的交往中,面部表情是除了声音以外的非常重要的通信方式,作为信息的载体，表情能够传达很多语音所不能传达的信息。但现有E-Learning系统缺乏学生与教师之间的有效情感互动，这种情感缺失严重影响了E-Learning的教学效果。
本论文的主要研究目的是要在项目组成员已检测出的学习者人脸图像的基础上，提取E-learning情境下学习者的表情特征参数，为后续的学习情绪建模和分析提供依据。所采用的基本技术路线为：根据已检测出的E-learning情境学习者的面部图像，定位学习者的表情特征部位，提取到学习者的表情特征参数——人脸面积、眼帘间距、嘴角弧度等。
本论文的主要研究工作和成果如下：
1. 论文提取的数据包括眼帘间距和嘴角弧度，分别用于关注度与愉悦度的研究。通过充分考虑精确定位表情特征部位对有效提取表情特征参数的影响，针对Snake的初始曲线和外部能量对Snake方法进行了改进，有效提高了对眼睛和嘴巴轮廓的定位效果。实验表明，此方法在该轮廓上提取的眼帘间距和嘴角弧度具有较高的准确率。
2. 论文利用了情感计算、图像处理、人工心理、计算机科学等领域的理论与技术，设计并开发了E-learning表情特征提取原型系统，实现了E-Learning中学习者的表情特征提取。实验表明，该系统提取的学习者表情特征参数，能够为E-learning系统的学业情绪建模和分析提供一定的参考依据。
关键词：E-learning情境；表情特征提取；改进的Snake方法

目录
摘要 1
Abstract 2
第1章 绪论 5
1.1 研究背景 5
1.2 国内外研究现状 5
1.2.1 E-learning 系统的研究现状 6
1.2.2 相关理论基础 6
1.2.3 表情特征提取 9
1.3 本文研究工作 10
1.4 本章小结 11
第2章 表情特征提取算法的研究 12
2.1 表情特征提取的研究 12
2.1.1 嘴唇特征提取的算法 12
2.1.2 眼睛特征提取的算法 14
2.2 本章小结 17
第3章 E-learning情境下的表情特征提取 18
3.1 基本思想 18
3.2 人脸面积的提取 19
3.3 眼帘间距的提取 20
3.3.1 眼睛区域的粗定位 20
3.3.2 眼睛轮廓的提取 21
3.3.3 眼帘间距的提取 22
3.4 嘴角弧度的提取 23
3.4.1 嘴巴区域的粗定位 23
3.4.2 嘴巴轮廓提取 24
3.4.3 嘴角弧度的提取 26
3.5 本章小结 26
第4章 系统设计 27
4.1 系统整体结构 27
4.2 系统开发环境 28
4.3 系统运行结果 28
4.4 实验结果分析 32
4.5 本章小结 33
第5章 总结与展望 34
5.1 本文工作总结 34
5.2 本文工作展望 35
参考文献 36
致 谢 38

本文研究工作
本文的主要研究工作是在E-learning情境中，利用摄像头捕捉学习者的图像，提取出表情特征参数，为后续的学业情绪建模和分析提供依据，以建立具有情绪认知交互的E-learning教学系统。本文的研究内容主要分为两大部分：一是定位表情特征的研究，二是表情特征提取的研究。本文的表情特征提取的前提是已检测出人脸。所以，其中，提取的特征参数有三个：
人脸面积、眼帘间距、嘴角弧度等。
本项目的主要工作流程如图1-4所示：
图1-4 本文工作流程图
本文的主要研究工作如下：
（1）表情特征提取的研究。本文通过对现存的特征提取算法的研究和对比，采用Snake算法提取眼睛和嘴巴的轮廓。由于传统的Snake算法不能满足本文的要求，因此本文对其进行了改进。基于能量最小原则，改进曲线的外部能量，能够更准确的提取眼睛和嘴巴的轮廓。
（2）表情特征参数的研究。本文提取的表情特征参数有两个：眼帘间距和嘴角弧度。提取上下眼帘的关键点，计算两点之间的距离作为眼帘间距；根据上唇关键点和左右两嘴角点计算嘴角的弧度。
（3）基于上述的研究，本文在Microsoft Visual Studio 2008平台上采用C++语言开发本系统。本系统通过捕捉学习者的图像，检测是否包含人脸。若没有检测到人脸，则系统给出提示后继续采集图像。若检测到人脸，则可对学习者进行表情特征参数的提取，反映出习者当前的学习状态。