机械手姿态识别的立体视觉匹配
第 18 卷 第 2 期
2010 年 2 月
光学 精密工程
Optics and Precision Engineering Vol. 18 No. 2
Feb. 2010
收稿日期 :2008211224 ;修订日期 :2009202204.
基金项目 :国家自然科学基金资助项目 (No. 59604451) ;浙江省科技厅资助项目 (No. 2009C31144)
文章编号 10042924X(2010) 0220464206
机械手姿态识别的立体视觉匹配
高春甫1 ,唐可洪2 ,胡庆玉2 ,程丽丽2 ,赵丁选2
(1. 浙江师范大学 机械设备与测控技术研究所 ,浙江 金华 321004 ;
2. 吉林大学 机械科学与工程学院 ,吉林 长春 130025)
摘要 :为了提高机械手姿态识别的精度 ,提出了区域边缘线段立体匹配算法。该算法利用图像中包含边缘线段区域的颜
色特性和边缘线段的几何特征进行线段匹配 ,其中 ,区域的颜色特征包括边缘线段的左右颜色和梯度方向 ,边缘线段的
几何特征包括长度、方向和角度。由于充分利用了图像提供的颜色信息 ,特别是颜色梯度方向信息 ,使得边缘线段的匹
配不仅依靠其自身的几何特征 (如长度 ,方向和位置) ,而且依靠直线段所在图像区域的所有信息。因此 ,匹配的判据可
以做得更准确。使用该算法进行机械手姿态识别实验 ,结果验证了该算法能够在复杂背景下识别机械手的姿态 ,识别精
度高 ,其相对误差达到 1. 7 % ,该结果满足机械手在姿态识别中的精度要求。
关 键 词 :双目立体视觉 ;机械手 ;匹配算法 ;姿态识别
中图分类号 : TP241. 2 文献标识码 :A
Stereo vision matching for posture
recognition of manipulator
GAO Chun2fu1 , TAN G Ke2hong2 , HU Qing2yu2 , CHEN G Li2li2 , ZHAO Ding2xuan2
( 1. Institute of Mechanical Device & Measurement and Control ,
Zhej iang N orm al University , J inhua 321004 , China;
2. Mechanical Engineering Institute , J ilin University , Changchun 130025 , China )
Abstract : A region2margin line segment stereo matching algorithm is proposed to improve the posture
recognition precision of a manipulator. The color characteristics of the region and the geometric char2
acteristics of margin line segment included in the image are used to realize an integrate matching ,a2
mong which the former contains the color and margin line segment ,and the latter contains lengths ,di2
rections and angles. By making full use of the information of color included in the image ,especially the
gradient direction information , this algorithm makes the line segment matching depend on the all in2
formation of the image area ,not only on its geometric characteristics , such as lengths ,directions and
angles. Therefore ,the criterion of the matching is more accurate than those of traditional algorithms.
A posture recognition experiment for a manipulator is undertaken ,obtained results validate that the al2
gorithm could recognize the posture of manipulator in higher accuracy in a complicated background ,
and the relative error reaches 1. 7 % ,which meets the requirements of the attitude recognition of ma2
nipulators for the precision.
Key words : binocular stereo vision ; manipulator ; match algorithm ; attitude recognition
1 引 言
机械手在现代工业生产中占有很重要的位
置 ,它能代替人手劳动 ,加快生产速度 ,在汽车生
产、焊接、航天器生产等领域都有广泛的应用。然
而 ,机械手的姿态识别是困扰机械手发展的一个
重要问题。目前 ,比较热门的研究方向是利用双
目立体视觉方法识别机械手的姿态。双目立体视
觉是从二维图像中还原出空间三维立体信息的一
种重要方法 ,也一直是计算机视觉研究的重点和
热点之一[124 ] 。计算机视觉的关键技术之一是图
像立体匹配。立体匹配的目的是确定同一空间景
物在不同视点下投影图像像素间的一一对应关
系。虽然人们提出了一些解决立体匹配算法 ,但
是在复杂背景下识别精度较低。本文针对立体匹
配问题 ,利用颜色梯度方向的信息提出了基于区
域的边缘线段立体匹配算法。该算法具有两方面
的特征 ,其一是使用直线段之间的对应关系进行
匹配 ,其二是将边缘线段几何特性和对应该区域
的颜色特性进行匹配 ,即将图像中所提供的图像
本身的几何特征(如长度 ,方向和位置) 信息 ,尤其
是颜色梯度方向上的信息在边缘线段匹配中同颜
色信息结合起来 ,从而增强对特定线段的限定性 ,
有效提高立体匹配的识别精度 ,且同时具有特征
匹配和区域匹配的优点。
2 区域边缘线段立体匹配算法
双目成像可获得同一场景的两幅不同图像 ,
其模型可以看成是由两个单目成像模型组合而
成[526 ] 。
线段匹配一般是指在一幅图像中的某条直线
段 ,在另一幅图像中寻找与它最匹配的直线段。
现有方法 ,如利用结构信息的分层动态规划法[7 ] ,
基于霍夫变换的动态规划法[8 ] 等 ,都只使用直线
段自身的特性 ,例如长度、角度以及直线段在空间
分布的顺序条件[9 ] 。因此 ,这些方法在匹配时充
分利用了直线段之间的对应限制条件。现提出的
基于区域的边缘线段匹配方法和以往的方法不
同 ,并不是单纯使用直线段之间的对应限制条件
进行匹配 ,而是充分利用了边缘线段几何特性和
支持区域的颜色特性进行匹配。本算法充分利用
了图像提供的颜色信息 ,特别是颜色梯度方向信
息 ,使得边缘线段的匹配不仅依靠其自身的几何
特征(如长度 ,方向和位置) ,而且依靠直线段所在
图像区域的所有信息 ,因此 ,匹配的判据可以作得
更准确。
首先将所有线段作为一个集合 L s ,集合中的
两条线段 li 与 l j 如果满足下列条件即为相似 :
(1) li 与 l j 之间的方向相似性 OS ( li , lj ) 大于
阈值 T1 。
(2) li 与 l j 之间的重叠系数 O F ( li , lj ) 大于阈
值 T2 。
(3) li 与 l j 之间的区域匹配度 SI 大于阈值
TSI 。
其中 , li 与 l j 之间的方向相似性定义为 :
OS ( li , lj ) = cos( ; ij ) ,cos( ; ij ) > 0
0 , otherwise
, (1)
其中 li 与 l j 之间的角度差 ; ij 定义为式 (2) 。
O T ( l) 是线段 l 的方向角 , l 与坐标轴 X 正方向的
交角。
; ij =
OT(li) - OT(lj ) , -π≤OT(li) - OT(lj ) ≤π
OT(li) - OT(lj ) - 2π, π≤OT(li) - OT(lj ) ≤2π
OT(li) - OT(lj ) +2π, - 2π≤OT(li) - OT(lj ) ≤-π
,
(2)
显然 ,0 ≤OS ( li , lj ) ≤1。
图 1 li 与 l j 之间的重叠长度
Fig. 1 Overlap length between li and l j
li 与 l j 之间的重叠系数 O F ( li , lj ) 与两条线
段在 y 轴方向上的重合长度Δy 以及他们的长度
有关。y 轴方向上的重合长度如图 1 定义为 :
564第 2 期 高春甫 ,等 :机械手姿态识别的立体视觉匹配
Δy =
δy , δy > 0
0 , otherwise . (3)
其中 ,
δy = min{max[ y1 (li) , y2 (lj ) ] ,max[ y1 (lj ) , y2 (lj ) ]} -
max{min[ y1 (li) , y2 (lj ) ] ,min[ y1 (lj ) , y2 (lj ) ]}
y1 ( li ) 和 y2 ( li ) 分别为 li 两端点的 y 坐标值 , y1
( lj ) 和 y2 ( lj ) 分别是 lj 两端点的坐标值。
li 与 l j 之间的重叠系数为 :
O F( li , lj ) = [Δy/ len( li ) +Δy/ len( lj ) ]/ 2 ,
其中 , len( li ) , len( lj ) 分别为两线段长度。显然 0
≤O F( li , lj ) ≤1。
li 与 l j 之间的区域匹配度与区域的左右 (上
下) 颜色有关。其中 , SL 表示直线段左 (上) 颜色;
SR 表示直线段右(下) 颜色。颜色聚类为 16 种颜
色分别用 0 - 15 表示。
SI = ∑
2
t = 1
w t V t ∑
2
t = 1
w t , (4)
式中 V 1 ～V 2 分别表示 SL 、SR 诸特征的匹配度。
计算公式如下 :
V t =
1 dt = 0
0. 8 dt = 1 ∪dt = 11 t = 1 ,2
0. 2 dt = 2
0 dt ≥3
, (5)
d1 = | SL i - SL j | , d2 = | SRi - SR j | , (6)
式中 ,下标 i 和 j 分别表示线段 l i 与 l j 的特征值。
从以上公式可以看出 ,区域各特性匹配度均
< 1。两线段的区域匹配度 SI 是各特性匹配度的
加权和值。在公式中权值 w t 表示各特征匹配度
的重要性 ,其设置可以根据具体应用而定。例如
在立体视觉中 ,由于两图的视差较小 ,各特征值的
差别都不大 ,所以权值 w t 都近似相等。
3 机械手姿态识别
3. 1 机械手姿态求解
利用摄像机标定的结果以及经立体匹配获取
机械手主要端点在世界坐标的仰角γ、平面角θ
和深度 z 。由此 ,通过它们的几何关系获得机械
手的姿态。如图 2 所示 ,设空间直线为机械手 ,其
两端点的仰角γ、平面角θ,深度 z 已经得到 ,并且
假设世界坐标系的原点为 CCD 摄像机 , z 轴与
CCD 摄像机光轴重合 ,坐标系符合右手定则。机
械手两端点的空间坐标具体计算如下 :
图 2 机械手姿态求解原理图
Fig. 2 Schematic of solving mechanical hand gesture
端点 P1 的空间坐标为 :
X P1 = ZP1 ×tanγ1 , Y P1 = ZP1 ×tanθ1 , (7)
端点 P2 的空间坐标为 :
X P2 = ZP2 ×tanγ2 , Y P2 = ZP2 ×tanθ2 . (8)
则端点 P2 相对于端点 P1 的相对坐标为 :
D x = X P2 - X P1
D y = Y P2 - Y P1
Dz = ZP2 - ZP1
. (9)
根据相对坐标 ,在以端点 P1 为坐标系原点 ,
z 轴与 CCD 摄像机光轴平行 ,符合右手定则的坐
标系中 , 可以求得机械手的控制姿态 , 如图 3 所
示。
图 3 机械手控制姿态求解原理图
F ig. 3 Schematic of controlling mechanical hand gesture
γ、α、β角分别为机械手与 z 轴、x 轴、y 轴的
夹角。
tanγ= D2
x + D2
y
D z
, γ= arctan ( D2
x + D2
y
D z
) ,
tanα= D2
y + D2
z
D x
, α= arctan ( D2
y + D2
z
D x
) ,
tanβ= D2
x + D2
z
D y
, β= arctan ( D2
x + D2
z
D y
) .
由上述公式可知机械手末端的转角 (α,β,γ) 。
664 光学 精密工程 第 18 卷
3. 2 机械手姿态试验及其分析
本文双目视觉系统采用 Sun KoSK2802 彩色
摄像机 ,通过 CCD 感光元件所形成的图像大小为
4. 82 mm ×3. 64 mm ,由图像采集卡所捕获的图
像大小为 760 pixel ×570 pixel 如图 4 所示。
图 4 立体图像对
Fig. 4 A pair of stereo images
图 5 是采用二阶微分 Laplacian 算子得到的
边缘图像。图 6 是运用基于知识的识别方法识别
机械手结果(由于系统需要仅考虑竖直线段的识
别和匹配) 。图 7 是采用基于区域的边缘线段立
体匹配算法进行匹配的结果 ,在图中同时显示左
图 5 立体图像对边缘检测图
Fig. 5 Edge detection of stereo images
图 6 在右视图上识别机械手
Fig. 6 Mechanical hand identification on right view
图 7 机械手匹配结果
Fig. 7 Match result of mechanical hands
右视图的边缘线段信息 ,匹配结果在左视图上表
示 ,并显示视差。由图 7 可见 ,检测和匹配的直线
基本与原图吻合。
表 1 为机械手五条边缘线段在图像坐标系中
端点坐标和视差。
由此得到机械手的视差、机械手的仰角γ和
平面角θ,根据式 (4) 即可获取深度值 , 根据机械
手姿态的求解公式 ,最后得到机械手的姿态。表
2 为机械手上述边缘线在 y 轴上的景深值 ,即在 z
轴上投影的起止点。表 3 是机械手的仰角γ和平
面角θ。表 4 为机械手的姿态值。
表 1 各线段在图像坐标系中的端点坐标和视差 (单位 :像素)
Tab. 1 Endpoint coordinate of every line segment in image reference frame(Unit :pixel)
左视图 起点 止点 右视图 起点 止点 视差 起点 止点
1 ( x/ y) 205/ 161 285/ 506 1 ( x/ y) 129/ 160 192/ 505 1 (m - 1 ) 75 92
2 ( x/ y) 230/ 193 301/ 506 2 ( x/ y) 153/ 192 207/ 507 2 (m - 1 ) 77 94
3 ( x/ y) 260/ 191 341/ 501 3 ( x/ y) 182/ 188 246/ 506 3 (m - 1 ) 78 95
4 ( x/ y) 212/ 126 226/ 174 4 ( x/ y) 136/ 123 149/ 172 4 (m - 1 ) 76 77
5 ( x/ y) 270/ 134 285/ 170 5 ( x/ y) 195/ 127 208/ 172 5 (m - 1 ) 75 77
764第 2 期 高春甫 ,等 :机械手姿态识别的立体视觉匹配
表 2 机械手深度值
Tab. 2 Depth of mechanical hand
深度/ cm 起点 止点
1 83. 86 66. 56
2 81. 87 64. 93
3 80. 35 64. 15
4 82. 67 81. 87
5 83. 86 81. 87
表 3 机械手的仰角γ和平面角θ(左视图)
Tab. 3 Elevation and plane angles of
mechanical hand (left view)
Γ/ θ 起点 止点
1 3. 47/ - 9. 42 0/ 5. 33
2 2. 35/ - 8. 04 - 0. 72/ 5. 42
3 1. 05/ - 8. 13 - 2. 45/ 5. 33
4 3. 13/ - 10. 92 2. 52/ - 8. 86
5 0. 62/ - 10. 56 0/ - 9. 03
表 4 机械手的姿态
Tab. 4 Gestures of mechanical hand
(γαβ) 单位度
1 (48. 2 ,79. 2 ,43. 7)
2 (47. 1 ,80. 3 ,44. 6)
3 (48. 0 ,79. 9 ,43. 8)
由表 4 取平均值得机械手姿态为 (47. 8 ,
79. 8 , - 44. 0) 。本实验中 ,设定的机械手的目标
姿态为 : (47 ,80 , - 44) ,按照误差理论 ,用α表示
测量值 , A 表示它的理论值 ,绝对误差用Δ 表示 ,
测量值α的相对误差用δ表示 ,即
δ= a - A
A ×100 % = Δ
A ×100 % .
在本文中 ,为了避免测量带来的误差 ,在实际中采
用多次测量 ,求多次测试后的平均值的方法 ,结果
显示该机械手臂姿态的相对误差为 :1. 7 %。由此
可见 ,双目立体视觉系统及其算法是可行的。
4 结 论
本文研究了双目立体视觉中区域边缘线段
立体匹配算法 ,该算法结合颜色知识、形状知识和
位置知识在立体匹配和摄像机标定、深度标定的
基础上 ,利用几何关系 ,求得目标的姿态。将这种
方法应用于机械手姿态识别中 ,试验表明 ,该方法
具有比普通方法更高的识别精度 ,其相对误差达
到 1. 7 % ,可以在复杂的背景中对目标物体的边
缘进行精确识别。这种算法为机械手的姿态识别
提供了理论依据 ,增强了识别能力。
参考文献 :
[1 ] WAN G K H , CAO H , L IU Y, et al. . Binocular
stereo vision with laser to reconstruct welding seam
[J ]. Transactions of the China Wel ding Institu2
tion ,2006 ,27 (8) :124.
[2 ] 邱联奎 ,雷建和 ,宋全军 ,等. 基于立体视觉的机械
手未知平面内曲线跟踪[J ]. 传感技术学报 ,2007 ,
20 (2) :2932297.
QIU L K , L EI J H , SON G Q J , et al. . Robot ma2
nipulator curve tracking in unknown plane based on
stereo vision [J ]. Chinese J ournal of Sensors and
A ctuators , 2007 ,20 (2) :2932297. (in Chinese)
[3 ] 范路桥 ,蒋梁中 ,汪伟 ,等. 排爆机器人双目立体视
觉系统的研究和开发 [J ]. 计算机工程 ,2007 ,33
(7) :2072209.
FAN L Q , J IAN G L ZH , WAN G W , et al. . Re2
search and development on explosive2handling robot
binocular visual system [J ]. Com puter Engineer2
ing , 2007 ,33 (7) :2072209. (in Chinese)
[4 ] 顾征 ,苏显渝 ,刘元坤. 彩色立体像对的自适应匹配
[J ]. 光电子 ·激光 ,2008 ,19 (2) :2252229.
GU Z , SU X Y, L IU Y K. Adaptive stereo matc2
hing for color image pairs[J ]. J ournal of Optoelec2
tronics L aser , 2008 ,19 (2) :2252229. (in Chinese)
[ 5 ] GUAN Y P , GU W K. A binocular stereo matching
algorithm based on reference difference gradient[J ].
Chinese J ournal of Sensors and A ctuators ,2004 ,17
(1) :74277.
[6 ] 叶海加 ,陈罡 ,邢渊. 双目 CCD 结构光三维测量系
统中的立体匹配[J ]. 光学 精密工程 ,2004 ,12 (1) :
71275.
YE H J , CHEN G, XIN G Y. Stereo matching in
3D measurement system using double CCD struc2
864 光学 精密工程 第 18 卷
tured light [J ]. Opt. Precision Eng. , 2004 ,12 (1) :
71275. (in Chinese)
[7 ] 陈宁江 ,李介谷. 基于支持区域的直线段匹配[J ].
红外与激光工程 , 2000 ,29 (5) :10214.
CHEN N J , L I J G. Match straight line based on
line support region[J ]. Inf rared and L aser Engi2
neering , 2000 ,29 (5) :10214. (in Chinese)
[8 ] 李涛 ,刘肖琳. 一种稳健的直线提取和匹配算法
[J ]. 计算机仿真 ,2008 ,25 (9) :1712173.
L I T , L IU X L. A robust approach for extracting
and matching straight line [J ]. Com puter S imula2
tion , 2008 ,25 (9) :1712173. (in Chinese)
[9 ] 徐奕 ,周军 ,周源华. 立体视觉匹配技术 [J ]. 计算
机工程与应用 ,2003 ,39 (15) :125.
XU Y, ZHOU J , ZHOU Y H. On stereo matching
technology[J ]. Com puter Engineering and A p pli2
cations , 2003 ,39 (15) :125. (in Chinese)
作者简介 :
高春甫(1965 - ) , 男 , 吉林公主岭人 ,
博士 ,教授 ,主要从事数控及精密驱动
技术方面的研究。E2mail : gao6865 @
163. com ;cfgao2007 @zjnu. cn
唐可洪(1952 - ) ,男 ,吉林长春人 ,副教
授。主要从事图像处理及自主机器人
技术 方 面 的 研 究。E2mail : tangkh @
jlu. edu. cn
胡庆玉(1980 - ) ,男 ,河北石家庄人 ,博
士研究生 ,研究方向为机电一体化及液
压节能技术。E2mail : huqy915 @sina.
com
程丽丽 (1983 - ) ,女 ,黑龙江依安人 ,博
士研究生 ,主要从事人工智能方面的研
究。E2mail :singlily @yahoo. cn
赵丁选 (1965 - ) ,男 ,河南濮阳人 ,博
士 ,教授 ,主要研究方向为工程车辆机
电一体化和工程机器人技术。
964第 2 期 高春甫 ,等 :机械手姿态识别的立体视觉匹配
机械手姿态识别的立体视觉匹配
