基于CMOS传感器的智能车路径识别研究
·机械制造与研究 · 程亚龙 ,等 ·基于 CMOS传感器的智能车路径识别研究
M achine Building A utomation, O ct 2007, 36 (5) : 13～15
基于 CMOS传感器的智能车路径识别研究
程亚龙 ,周怡君
(东南大学 机械工程学院 ,江苏 南京 211189)
摘 要 :介绍了基于 CMOS传感器的图像采集与智能车赛道信息提取的方法。给出了边缘检
测算法的程序流程图 ,并采用加权最小二乘法拟合直线的方法 ,判断当前赛道的信息。实验表
明 ,该方法简便可靠 ,能够满足智能车路径识别的需求。
关键词 : CMOS传感器 ;图像采集 ;边缘检测 ;加权最小二乘法
中图分类号 : TP274 + . 5 文献标识码 : A 文章编号 : 167125276 (2007) 0520013203
The Study of Smartcar Track Iden tifica tion Based on the CMO S Sensor
CHENG Ya2long, ZHOU Yi2jun
( Schoo l ofM echanica l Enginee ring, Southea st Unive rsity, Nanjing 211189, China)
Abstract: This pape r introduce s the extraction m e thod ba sed on the CMO S im age senso r acquisition and sm a rt ca r racing circuit in2
fo rm a tion, give s the p roce ss flowcha rt of the edge de tection a lgo rithm and use s the we ighted linea r m inim um squa re s fitting m e thod
to judge the current track info rm a tion. Expe rim ents show tha t the m e thod is simp le and re liable and can m ee t the Sm a rt Ca rt Pa th
Recognition dem and.
Key words:CMO S senso rs; im age acquisition; edge de tection; we ighted lea st squa re s
0 引言
路径识别是实现智能车自主沿赛道运行的信息基
础 ,获得范围广而精确的赛道信息是提高智能车运行速
度的关键。路径识别的方法主要有光电传感器和 CCD /
CMOS摄像头传感器两种方式 。与光电传感器相比 ,摄
像头传感器具有较好的快速性 、前瞻性 ,能够感知智能
车前方更远距离的赛道变化 ,提取有效信息 ,从而为智
能车快速、平稳的前进 、转弯以及制动控制提供更好的
判断依据 [1 ] 。
为实现智能车的自主运行 ,需要预测前方道路信息并
根据当前智能车与道路中心线的相对位置选取合适的行
进路线 ,并根据电机和舵机的实际响应速度确定各种状态
下的最佳行驶速度。现选用 CMOS摄像头传感器采集数
据并进行图像处理 ,确定道路中心点 ,在此基础上采用加
权最小二乘法拟合判断出前方道路信息 ,为合理选择行驶
路线、控制行驶速度提供依据。
1 路径识别系统方案设计
本方案采用 JK309B摄像头 CMOS PAL制式 ,每秒扫
描 25幅图像 ,每幅又分奇、偶两场 ,先奇场后偶场 ,每场图
像 20 m s。有效像素为 314 ×291,实际测试可知 ,每场图
像共 292行 ,每行约 68μs,其中前 14行为场消隐信号 ,每
行的行同步脉冲持续时间也相同 ,约为 4. 7μs。
摄像头悬挂位置及视场如图 1所示。由主视图可知 ,
摄像头最远可以看到 100 cm,最近为 30 cm,加上图像采
集自身的每场 20 m s的延迟 ,如此悬挂既有利于预先判断
弯、直道 ,又有利于转向控制。由俯视图可知 ,视场呈现近
小远大的趋势 ,这就保证了智能车在弯道到可以看的更远
更宽。例如 ,智能车在弯道上出现过冲 ,黑线会出现在图
像的左边缘附近 ;出现内切 ,黑线会出现在图像的右边缘
附近。此时 ,智能车可以根据黑线的位置调整转向 ,使其
回到黑线位置。
硬 件 方 面 , 利 用 LM1881 分 离 视 频 同 步 信 号 ,
MC9S12DG128内置的高速 AD转换器进行图像采集。软
件方面 ,利用 S12的 H口中断进行 AD转换 ,通过边缘检
测算法提取中心点 ,然后通过直线拟和获得赛道信息进行
控制。
图 1 摄像头悬挂位置
2 硬件电路设计
2. 1 视频分离电路
LM1881可以实现视频信号的分离 ,其电路图如图 2
所示。2脚为视频信号输入端 ; 3脚和 5脚分别为场同步、
行同步信号输出端 ; 7脚为奇偶场同步信号输出端。
2. 2 CMOS工作电压电路
JK309B摄像头的工作电压为 12V,利用 MC34063升
·31·
·机械制造与研究 · 程亚龙 ,等 ·基于 CMOS传感器的智能车路径识别研究
http: ∥ZZHD. chinajournal. net. cn E2mail: ZZHD@chainajournal. net. cn《机械制造与自动化 》
压电路来获得摄像头的工作电压 ,如图 3所示。
图 2 视频分离电路
图 3 M C34063升压电路
3 软件设计
3. 1 图像亮度调节及阈值选择
文中使用的 CMOS摄像头自带有自动白平衡及红外
补偿。正常情况下 ,整幅图像亮度比较均匀 ,直接采用同
一阈值差进行中心线的边缘检测。我们分别选取 26～33
之间各值作为阈值来对直道图像提取中心点 ,其中提取错
误的中心点个数如表 1所示。因此我们选择 26作为阈
值 ,实现可靠提取中心点。
表 1 阈值提取错误的中心点
阈值 26 27 28 29 30 31 32 33
错误点 0 0 1 2 3 4 6 6
3. 2 图像采集方案
本系统的图像采集方案为 :图像不分奇偶场 ,每场图
像从第 15行开始采集 ,每采集一行即进行中心点提取 ,提
取完后再隔 9行采集下一行图像数据。如此循环 ,一共采
集 20行图像并提取中心点 ,之后进行直线拟合 ,用于智能
车的各项控制。此方案可以避免采集到场消隐和行消隐
信号 ,采集到的图像约为整幅图像的 3 /4,约 15 m s,剩余
的 5 m s可以用来做控制。
S12单片机总线频率经 PLL 锁相环倍频到 32 MHz,
每行可采集 65个有效点 ,有效像素为 65 ×20,利用 MFC
编译的图像软件 ,通过串口通信可以观察采集到的图像信
息。直道和 S道的灰度图像分别如图 4和图 5所示。观
察可知本方案采集到的图像完全可以代替整幅图像进行
赛道信息提取 ,既节省了时间和单片机资源 ,又满足控制
要求 ,不失稳定性。
3. 3 中心点提取
考虑到比赛现场灯光变化引起赛道图像灰度变化的
图 4 直道图像
图 5 S道图像
情况 ,本系统采用边缘检测算法实现中心点的提取 , 只
需选定黑白阈值差即可适应灯光的变化 , 稳定性较好 。
但由于噪声干扰的影响 ,某些背景像素可能会被提取为
黑线 ,考虑到噪声干扰的像素数目一般比较小 , 通过限
定提取到的黑线宽度 ,并取灰度值最低的点为黑线 。如
此可有效地排除干扰 。边缘检测算法的程序流程图如图
6所示 。
4 基于直线拟合的路径识别实现
考虑到控制的需要及算法的简练 ,本方案在赛道中选
·41·
·机械制造与研究 · 程亚龙 ,等 ·基于 CMOS传感器的智能车路径识别研究
M achine Building A utomation, O ct 2007, 36 (5) : 13～15
图 6 边缘检测算法的程序流程图
取最少 5个中心点作为控制点 ,采用加权最小二乘法拟合
一条直线。通过改变加权因子的大小就可以改变相应中
心点在拟合直线中所占的权重。由拟合直线的斜率可以
判断当前智能车与赛道的夹角 ,由直线的截距可以判断智
能车与赛道的偏离情况。
图 7 参考坐标系
由于稳定状况下赛道为垂直位置 ,为方便描述 ,我们
选取如图 7所示坐标系 ,图中离散点为直道入弯时提取到
的黑线中心点。实际拟合时根据设定系数的不同 ,相邻中
心点在 X轴上的间距是可变的。设直线方程为 y = ax +
b,则斜率 a很小甚至为零。根据中点坐标 ( xk , yk )及加权
因子 dk 可得拟合残差平方和为
φ = ∑
n
k =1
dk ( axk + b - yk ) 2
系数 a和 b为 :
a = ∑dk xk yk ×∑dk - ∑dk xk ×∑dk yk
∑dk x2
k ×∑dk - ( ∑dk xk ) 2
b = ∑dk x2
k ×∑dk yk - ∑dk xk yk ×∑dk yk
∑dk x2
k ×∑dk - ( ∑dk xk ) 2
由系数 a可以计算出当前智能车与赛道的夹角 ,由
系数 b可以得到当前智能车与赛道的相对位置 。我们利
用 Labview编译的图像软件 ,通过无线通信来观察智能
车的行驶参数 。图 8所示即为智能车在赛道上行驶一圈
所纪录到的每场图像的 a、b值 (曲线 1为 a值 ,曲线 2
为 b值 ) 。由图 8可以看出 a、b值在直道、大弯道 、小弯
道和 S道上的变化还是很明显的 。因此通过 a、b值或
其线性组合可以用来预先判断弯 、直道 ,实现提前加速
减速功能 ,也可作为舵机转角的输入量 ,实现弯道的内
切通过。
1—表示 a值 ; 2—表示 b值
图 8 智能车行驶一圈所纪录的 a、b值
按照此法进行控制 ,我们的智能车在校内比赛赛道
(全长 38 m)上的最好成绩为 14. 2 s。
5 结论
介绍了基于 CMOS图像传感器的图像采集与处理 ,实
验证明在图像预处理的基础上使用加权最小二乘法拟合
直线来识别赛道 ,控制点少 ,计算量少 ,抗干扰能力强 ,能
够为智能车的可靠运行提供依据。
考虑到智能车整个电路部分的高频信号对摄像头工
作性能的影响 ,以及赛道内外杂点对图像采集的影响 ,应
该加入一定的滤波处理 ,使图像更加稳定、可靠 ,从而提高
智能车控制的可靠性。
参考文献 :
[1 ] 卓 晴 ,等. 学做智能车 :挑战“飞思卡尔 ”杯 [M ]. 北京 :北京
航空航天大学出版社 , 2007.
[ 2 ] 邵贝贝. 单片机嵌入式应用的在线开发方法 [M ]. 北京 :清华
大学出版社 , 2004.
[ 3 ] 杨国田 ,等. 摩托罗拉 68HC12系列微控制器原理 ,应用与开
发关系 [M ]. 北京 :中国电力出版社 , 2003.
[ 4 ] Freescale Semiconductor, Inc. MC9S12DG128 Device User Guide
[ Z].
[ 5 ] 卓 晴 ,等. 基于面阵 CCD的赛道参数检测方法 [ J ]. 电子产
品世界 , 2006, 7: 1412143.
[ 6 ] 夏良正. 数字图像处理 [M ]. 南京 :东南大学出版社 , 1999.
[ 7 ] 侯俊杰. 深入浅出 MFC[M ]. 华中科技大学出版社 , 2001.
[ 8 ] 邓 焱. LabV IEW 7. 1测试技术与仪器应用 [M ]. 北京 :机械
工业出版社 , 2004.
收稿日期 : 2007208217
·51·
基于CMOS传感器的智能车路径识别研究
