基于物体表面形貌的单相机视觉位姿测量方法-关印.pdf
《基于物体表面形貌的单相机视觉位姿测量方法-关印.pdf》由会员分享,可在线阅读,更多相关《基于物体表面形貌的单相机视觉位姿测量方法-关印.pdf(8页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Article2018年,第45卷,第1期Opto-Electronic Engineering光 电 工 程DOl: 10.12086/oee.2018.170522170522-1基于物体表面形貌的单相机视觉位姿测量方法关 印1, 2*, 王向军1, 2,阴 雷1, 2,万子敬1, 21天津大学精密测试技术及仪器国家重点实验室,天津 300072;2天津大学微光机电系统技术教育部重点实验室,天津 300072摘要 : 为了获取在风洞实验中运动物体的位姿变化,提出了一种融合物体表面三维形貌信息的单相机视觉位姿测量方法。该方法以多点透视成像原理作为求解物体位姿变化的基础,以物体的图像特征角点作
2、为特征点,并利用物体表面三维形貌模型信息获得特征点的三维坐标。通过实验完成了该测量方法的精度验证,在 400 mm 的观察距离上,位移平均测量误差为 0.03 mm,均方根误差为 0.234 mm; 俯仰角、偏航角与滚转角的平均误差分别为 0.08、0.1与 0.09,均方根误差分别为 0.485、0.312与 0.442。实验结果表明该方法有可用于实用的测量精度。关键词: 机器视觉;位姿测量;单相机视觉;特征匹配;表面形貌;三维重建中图分类号: TH391 文献标志码: A 引用格式:关印,王向军,阴雷,等. 基于物体表面形貌的单相机视觉位姿测量方法J. 光电工程,2018,45 (1):
3、170522Monocular position and pose measurement method based on surface topography of objectGuan Yin1, 2*, Wang Xiangjun1, 2, Yin Lei1, 2, Wan Zijing1, 21State Key Laboratory of Precision Measuring Technology and Instruments, Tianjin University, Tianjin 300072, China;2Key Laboratory of MOEMS of the Mi
4、nistry of Education, Tianjin University, Tianjin 300072, ChinaAbstract: In order to obtain the change of posture of moving objects in wind tunnel experiment, a method of sin-gle-camera visual pose measurement based on three-dimensional topography model of object surface is proposed. The method uses
5、the multi-perspective imaging principle to solve the target pose, obtains the feature corner point on the target as the characteristic point needed for the solution, and proposes to use targets 3D surface topog-raphy information to obtain the geometric relationships between feature points. In this p
6、aper, the accuracy of the measurement method is verified under the laboratory conditions. The average accuracy of displacement is 0.23 mm and the mean square error is 0.234 mm. The accuracy of the pitch angle, yaw angle and roll angle are 0.08 , 0.1and 0.09 , respectively, and the mean square error
7、are 0.485 , 0.312 and 0.442 . The experimental results show that the method can be used for practical measurement.Keywords: machine vision; pose measurement; monocular vision; feature match; surface topography; 3D recon-struction.Citation: Guan Y, Wang X J, Yin L, et al. Monocular position and pose
8、measurement method based on surface to-pography of objectJ. Opto-Electronic Engineering, 2018, 45 (1): 170522收稿日期 : 2017-09-27; 收到修改稿日期: 2017-11-17基金项目: 国家自然科学基金 (51575388) 资助项目作者简介: 关印 (1996-),男,硕士研究生,研究方向为机器视觉测量。E- mail: 转台待测模型测量相机万方数据光电工程 DOI: 10.12086/oee.2018.170522 170522-21 引 言在风洞实验中常常伴有气流扰动、
9、震动等因素,视觉测量已经成为风洞内物体位姿测量的主要手段1。视觉测量主要分为单相机视觉测量系统与多相机视觉测量系统。单相机测量系统结构简单,标定便利,有着更大的测量范围和更高的测量精度,广泛应用于空间交会、风洞非接触式检测等领域。通常测量系统的目标可以分为合作目标与非合作目标两类,其中合作目标上具有固定数目、几何关系已知的光学标志点,例如刘巍2设计了使用彩色光学标记点的单目测量系统来测量从飞行器上分离的外挂物的位姿变化。非合作目标存在于很多应用中,比如风洞测试的实心模型、传送带上的工件等。这类物体上无法设置光学标志,无法提供测量标志点。针对此类物体,周扬3提出了基于匹配 CAD 模型离线库的单
10、相机测量方法来测量工件的位姿,其测量精度在 2左 右,其使用物体 CAD 模型的思路有着一定的参考价值。为了测量不能设置光学标志点的飞行物体在恒流风场中的位姿变化,本文提出了一种基于物体表面形貌的单相机位姿测量方法。本文使用 ORB(oriented FAST and rotation BRIEF)4特征提取方法获取物体的特征角点,并结合物体形貌模型计算特征点的三维坐标,最后根据稳定多点透视算法5(robust solution to the perspective-n-point problem,RPnP) 求解物体的位姿变化。2 位姿变化解算原理运动中的物体与相机的位姿关系如图 1 所示,
11、以物体的初始位置为参考位置,需要测量的物体的位姿变化以旋转矩阵 RF,平移向量 tF表示。物体坐标系OXYZ 在前后时刻与相机坐标系 OcXcYcZc的相对位姿关系以旋转矩阵 R,Rr与平移向量 t,tr表示,两者有如下关系式:, (1)式中: 为相机坐标,为运动前物体坐标系; 为运动后物体坐标系。根据多点透视原理 (perspective-n-point problem,PnP),相机与物体的相对位姿关系可以通过物体上一定数量的在物体坐标系下的坐标以及图像坐标都已知的特征点来计算。因无法设置光学标志,为了缩减一帧计算时间,本文使用物体的 ORB 特征角点对作为特征点。特征点在物体坐标系下的坐
12、标通过物体的表面形貌模型求解。在之后的论述里,特征点在物体坐标系下的坐标简称为三维坐标。3 获得特征点三维坐标3.1 物体表面形貌模型信息的获取在实际应用中,有多种方法获得待测目标表面形貌模型信息,比如 CAD 模型提取和多视图三维重建等。物体在实际加工与使用时会有缺陷以及磨损,多视图三维重建可以方便准确地获取物体表面的形貌信息6。该方法基于运动恢复结构 (structure from motion,SFM) 原理7,基本重建过程如图 2 所示。获取从多个角度拍摄的物体的图像序列,获取两两图像间特征角点匹配关系;根据匹配关系计算基础矩阵,并在已知重建所用相机内参矩阵的情况下,获得本征矩阵 E;
13、对本征矩阵进行 SVD 分解8获得相机位置参数;使用三角法计算特征点对应的三维坐标,获得初始三维点云;使用光束法平差9对三维点云与相机位置进行优化;最后以基于面元的多视图立体视觉 (patch-based 图 1 运动中的物体与相机的位姿关系Fig. 1 The relationship between the target and the camera before and after movement(R,t)(RF, tF)(Rr, tr)OO1O1OcZZ1ZcxyXX1XcYY1YcPP1p1 p2万方数据光电工程 DOI: 10.12086/oee.2018.170522 1705
14、22-3multiview stereo, PMVS) 10算法进行稠密重建得到表面 三维点云。如图 3 所示,本文选择 SFM 多视图三维重建的方式,使用定位精度较高的 SIFT 特征点作为三维重建点,使用实验室的三维视觉重建系统获得待测飞行器模型的表面形貌三维点云。当待测物体表面属于可以解析的结构,可以通过点云拟合得到表面结构的几何表达式11。为了方便之后的理论推导,设待测物体表面几何模型在物体坐标系下的拟合方程为。 (2)3.2 计算测量相机成像模型的参数相机使用小孔成像模型,物体特征点的图像坐标(u,v) 与三维坐标 (X,Y,Z) 的有如下关系式:, (3)简化为, (4)在成像模型
15、中有两个参数需要计算:相机的内参矩阵 M1与相机坐标系与物体坐标系的位置关系 M2。相机内参矩阵 M1通过张正友标定法11使用棋盘格标定得到。相机与物体之间的位置关系 M2则使用相机拍摄的物体图像与多视图重建使用的图像集计算。因三维重建使用 SIFT 特征点,所以将相机拍摄的物体图像与物体三维重建图像集进行 SIFT12特征角点匹配,因物体三维点云中的点与重建所使用的图像集的 SIFT 特征角点间有着一对多的对应关系,所以物体图像上得到的 SIFT 特征点根据此对应关系可以得到三维坐标。根据多点透视原理 (PnP),有 4 个以上确定三维坐标的的 SIFT 特征点即可使用 RPnP 算法计算得
16、出相机坐标系与物体坐标系的位置关系 M2。3.3 使用物体几何模型计算 ORB 特征点三维坐标确定 M1与 M2之后,从式 (3) 推 导出以下方程组:, (5)其中:, 。式 (5) 为四元方程组,需要额外的约束条件以获得有限个解。式 (2) 为待测物体表面的拟合方程可以作为额外条件,则 式 (5) 转化为, (6) 问题转变成求式 (6) 的解集:SSi(Xi,Yi,Zi,Zci)| i=1,.,n。方程组 (5) 的物理意义为由相机坐标系图 2 SFM 重建流程Fig. 2 SFM reconstruction process图 3 三维重建得到的待测物体点云Fig. 3 The tar
17、get s point cloud using 3D reconstructionPMVS 稠密重建获得三维点云光束法平差三角法计算特征点三维坐标SVD 分解得到相机位置参数计算基础矩阵任意两幅图像间特征点提取匹配读取图像序列万方数据光电工程 DOI: 10.12086/oee.2018.170522 170522-4原点 Oc与特征点 U(u,v) 两点确定的一条空间直线。式 (6) 的解的物理意义为该直线与物体表面的交点Si,其中 Zci为交点 Si与像面的垂直距离。特征点位于相机像面之前,且不会被遮挡,所以解集 S 中 Zci大于 0 且 Zci最小的解 SF是特征点的三维坐标。当物体表
18、面不具有简单解析形式时,则计算三维点云中的点到式 (5) 所表示空间直线的欧式距离 d,取所有距离在阈值 D 之内的点为内点集 I;以欧式距离为准则计算内点集中存在的聚类,根据物理意义,选择距离像面更近的聚类,并按照欧式距离对聚类中的点坐标做加权平均,获得特征点三维坐标的近似值 SF。 (7) 阈值 D 的选取建立在对三维重建特征点提取精度以及对算法的误差影响的分析之上,选择标准是使算法理论上的姿态测量精度在 1之 内。3.4 三维重建精度分析与讨论待测物体三维重建获得的表面形貌模型与真实的表面结构存在误差。利用实验室现有的手段对通过三维重建过程获得的标志点三维坐标提取误差进行,分析,并设计仿
19、真实验分析该误差对算法产生的影响。在物体上分散放置多个圆形标志点,使用三坐标测量机测得标志点三维坐标作为参考坐标 Pc。重建物体表面点云并在图像上选取标志点中心图像坐标使用上一节描述的计算方法计算特征点坐标 Pd。使用迭代最近点 (ICP) 算法13统一 Pc与 Pd的坐标系,对特征点坐标提取在 x 轴、y 轴、z 轴分量以及欧氏距离 d 的误差统计如表 1 所示。根据模型的大致形状,在 30 mm 40 mm 10 mm的区域内随机生成 40 个点作为特征点集 P。将点集P 在偏航角 (-30 , 30 ) 的范围内做仿真旋转操作,乘以相应的旋转矩阵得到旋转后的点集理论值 PT。在距离特征点
20、集中心 400 mm 处放置仿真像面,按照小孔成像模型,得到特征点集 PT的投影点坐标。在进行位姿计算时,在特征点集 P 的三维坐标上加入随机测量噪声,平均值为 0 mm,根据表 1 的重建误差,设定噪声标准差为 0.5 mm。测量误差为仿真旋转的角度与解算得到的角度的差值,仿真实验结果如图 4 所示。仿真实验结果表明当特征点提取误差在 0.5 mm以内时,姿态角最终解算精度在 1以 内,因此阈值D 选为 0.5 mm。4 ORB 特征点匹配筛选方法上述过程可以得到物体图像上所有的 ORB 特征角点的三维坐标。但因需要与三维重建使用的图像集进行 SIFT 角点匹配,耗时长,无法对相机拍摄的物体
21、运动视频的每一帧图像进行同样的处理。本文以物体的初始位置为参考位置,该时刻的物体图像为参考帧。使用上述方法获取参考帧 ORB 特征点的三维坐标,以参考帧与后续的物体运动图像进行 ORB 特征角点匹配,后续图像的 ORB 特征点的三维坐标即可通过与参考帧 ORB 特征的匹配关系获得。因物体的 ORB 特征点存在误匹配,需要进行匹配筛选。在筛选之前,对匹配点集进行对称性检验,降低误匹配率,方便之后的过滤步骤。基于网格的运动估计(grid-based motion statistics,GMS)匹配方法14与传统的 RANSAC 方法相比,在相同的待匹配点数目下,计算速度更快14。为了方便判别两者计
22、算时间的差别,提取 1000 个 ORB 特征点后使用 GMS 与 RANSAC 方法分别进行 50 次匹配筛选,得到匹配结果如图 5 所示。GMS 方 法的平均匹配时间是 23 ms, RANSAC 方法的平均匹配时间是101 ms。从结果图可以看出,GMS 匹配方法的匹配结果较为均匀,计算时间较短。根据匹配点的空间分布,两帧之间的匹配点 xc图 4 三维坐标误差仿真实验结果Fig. 4 Simulation results of 3D coordinate errorx/mm y/mm z/mm d/mmmean -0.001 0.002 0.001 0.154RMSE 0.081 0.1
23、10 0.101 0.1691.00.50.0-0.5-1.0测量误差/()旋转角度 /( )测量误差-30 -20 -10 0 10 20 30 表 1 特征点的重建误差表Table 1 Reconstruction error of feature points万方数据光电工程 DOI: 10.12086/oee.2018.170522 170522-5与 xr可能有两种变换关系10适用于平面分布的单应性矩阵 H 与 适用于立体分布的基础矩阵 F,即, (8)。 (9)特征点集以单应性矩阵 H 或者基础矩阵 F 作转换会产生转换误差 EM15。,(10) 其中: ,M=F or H ,dc
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 物体 表面 形貌 相机 视觉 测量方法
限制150内