基于尺度不变Harris特征的准稠密匹配算法.pdf
《基于尺度不变Harris特征的准稠密匹配算法.pdf》由会员分享,可在线阅读,更多相关《基于尺度不变Harris特征的准稠密匹配算法.pdf(8页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、 基于尺度不变 Harris 特征的准稠密匹配算法 作者 孙会超,惠斌,常铮 机构 中国科学院沈阳自动化研究所;中国科学院大学;中国科学院光电信息处理重点实验室;辽宁省图像理解与视觉计算重点实验室 DOI 10.3969/j.issn.1001-3695.2017.11.0773 预排期卷 计算机应用研究 2019 年第 36 卷第 5 期 摘要 准稠密匹配是多视图三维重建的重要技术,其性能对重建结果至关重要。针对常用的 Sift 算法提取的种子点进行准稠密匹配正确率较低、重建效果不佳的问题,提出了一种基于尺度不变 Harris 角点特征的准稠密匹配算法。该算法首先在图像多尺度空间构造尺度不变
2、 Harris 特征,并采用余弦距离测度对不同视图进行双向匹配;然后根据稀疏匹配获取种子点,采用最优最先匹配扩散策略进行准稠密扩散;最后采用局部非极大值抑制策略对匹配结果进行重采样。实验表明,本文算法提取的种子点既能够体现场景结构信息,又具有尺度不变特性,用于准稠密匹配能够提高匹配的效果和精度,是一种有效的用于三维重建的准稠密匹配算法。 关键词 尺度不变 Harris 特征;准稠密匹配;局部非极大值抑制;三维重建 作者简介 孙会超(1991-) ,男,山东枣庄人,硕士研究生,主要研究方向为多视图三维重建() ;惠斌(1973-) ,男,研究员,硕士,主要研究方向为红外图像处理、目标识别与跟踪;
3、常铮(1977-) ,男,研究员,学士,主要研究方向为实时图像处理、ATR和 ATA 等 中图分类号 TP391.41 访问地址 http:/ 投稿日期 2017 年 11 月 16 日 修回日期 2018 年 1 月 30 日 发布日期 2018 年 3 月 9 日 网络出版时间:2018-03-14 17:32:04 网络出版地址:http:/ Harris 特征的准稠密匹配算法 引用格式 孙会超, 惠斌, 常铮. 基于尺度不变 Harris 特征的准稠密匹配算法J/OL. 2019, 36(5). 2018-03-09. http:/ 第 36 卷第 5 期 计算机应用研究 Vol. 3
4、6 No. 5 优先出版 Application Research of Computers Online Publication 作者简介:孙会超(1991-) ,男,山东枣庄人,硕士研究生,主要研究方向为多视图三维重建() ;惠斌(1973-) ,男,研究员,硕士,主要研究方向为红外图像处理、目标识别与跟踪;常铮(1977-) ,男,研究员,学士,主要研究方向为实时图像处理、ATR 和 ATA 等 基于尺度不变 Harris 特征的准稠密匹配算法 孙会超1, 2, 3, 4,惠 斌1, 3, 4,常 铮1, 3, 4 (1. 中国科学院沈阳自动化研究所, 沈阳 110016; 2. 中国科
5、学院大学, 北京 100049; 3. 中国科学院光电信息处理重点实验室, 沈阳 110016; 4. 辽宁省图像理解与视觉计算重点实验室, 沈阳 110016) 摘 要:准稠密匹配是多视图三维重建的重要技术,其性能对重建结果至关重要。针对常用的 Sift 算法提取的种子点进行准稠密匹配正确率较低、重建效果不佳的问题,提出了一种基于尺度不变 Harris 角点特征的准稠密匹配算法。该算法首先在图像多尺度空间构造尺度不变 Harris 特征,并采用余弦距离测度对不同视图进行双向匹配;然后根据稀疏匹配获取种子点,采用最优最先匹配扩散策略进行准稠密扩散;最后采用局部非极大值抑制策略对匹配结果进行重采
6、样。实验表明,本文算法提取的种子点既能够体现场景结构信息,又具有尺度不变特性,用于准稠密匹配能够提高匹配的效果和精度,是一种有效的用于三维重建的准稠密匹配算法。 关键词:尺度不变 Harris 特征;准稠密匹配;局部非极大值抑制;三维重建 中图分类号:TP391.41 doi: 10.3969/j.issn.1001-3695.2017.11.0773 Quasi-dense matching based on scale invariant Harris feature Sun Huichao1, 2, 3, 4, Hui Bin1, 3, 4, Chang Zheng 1, 3, 4 (1
7、. Shenyang Institute of Automation, Chinnese Academy of Sciences, Shenyang 110016, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China; 3. Key Laboratory of Opto-Electronic Information Processing, Chinese Academy of Sciences, Shenyang 110016, China; 4. Key Lab of Image Underst
8、anding Then the seeds selected from the initial matches are applied in quasi-dense matching algorithms by best and first propagation strategy; Finally, a local non-maximum suppression strategy is applied to resampling the quasi-dense matches. Experiments show that the seeds extracted by this algorit
9、hm can not only reflect the scene structure information, but also have scale invariant characteristics. And for quasi-dense diffusion, the matching effect and accuracy can be improved, and it is an effective quasi-dense matching algorithm for 3D reconstruction. Key Words: scale-invariant Harris feat
10、ure; quasi-dense matching; local non-maximal suppression; 3D reconstruction. 0 引言 随着计算机技术的飞速发展,三维重建技术被广泛的应用到影视游戏、数字城市、虚拟现实、机器人导航等领域。基于多视图的三维重建因其重建方法便捷及适用性强,成为三维重建领域的研究重点。多视图三维重建是一种利用同一场景的多张不同视角图片恢复三维模型的方法,其中,立体匹配是多视图三维重建的关键技术。多视图立体匹配主要分为稀疏匹配、稠密匹配和准稠密匹配1,由于准稠密匹配计算效率高而且能较准确的描述三维场景,近年来一直是研究的热点。 准稠密匹配算法
11、最早是 Lhuiller 等人2提出,它以两幅图像的立体稀疏匹配作为准稠密生长的种子点,在稀疏匹配的种子点周围进行匹配扩散,得到稠密匹配。因此稀疏种子点获取对准稠密匹配和重建效果至关重要。近年来,最常用的稀疏匹配方法是 Lowe 等人3总结的 SIFT(Scale-invariant feature transform)算法, 由于 SIFT 算法具有尺度、 旋转和光照不变性,因此在初始特征提取和匹配中得到广泛应用。比如,张霓等人1利用压缩感知理论提出了一种基于压缩感知的 Sift 准稠密匹配算法。王伟等人4提出了一种基于稀疏特征点的匹配扩散方法用来估计深度。赵璐璐等人5通过引入彩色信息,提出
12、了一优先出版 孙会超,等:基于尺度不变 Harris 特征的准稠密匹配算法 第 36 卷第 5 期 种基于彩色 Sift 的准稠密匹配和三维重建方法。李晓明等人6根据结构化场景特点,提出一种基于平面单应约束的 Sift 特征准稠密匹配方法。Guo 等人7通过改进匹配代价函数,提出了一种基于 Sift 的准稠密匹配方法用于植物的三维点云获取。然而,Sift 算法提取的特征点并不是视觉上的角点,特征点在图像上并没有实际的物理特征8,并且耗时较长,会影响稀疏匹配的效果。 Harris 算法9提取的角点具有较好的信息量, 能够很好的反映物体的结构和轮廓特征8,用于立体匹配会获得更好的效果。此外,对于多
13、视图图像间存在的尺度问题,Milolajczy等人10基于尺度自动选择理论,提出了 Harris 尺度不变性检测子。程邦胜等人11得到了 Harris 尺度不变性检测子有效工作的参数空间。许佳佳等人12提出了一种结合 Harris 和 Sift 算子的图像配准算法,提高了图像配准精度和配准效率。 为了提高准稠密匹配和三维重建的效果,本文基于尺度空间 Harris 角点检测和 Sift 特征描述方法,提出了一种适用于多视图三维重建的准稠密匹配算法,并就本文算法和最具代表性的 Sift 算法进行准稠密匹配对比。同时提出非极大值抑制重采样策略对准稠密匹配结果进行优化,以去除冗余。本文整体算法框架如图
14、 1 所示。 1 SIHF 特征检测与匹配 Harris 算法9是一种经典的角点检测算法,在没有尺度变化的情况下,Harris 算法对图像的旋转变化、视角变化、图像噪声具有很好的适应性12。 为克服 Harris 角点的尺度敏感问题,本节引入尺度空间思想3检测 Harris 角点,并采用 Sift 特征描述方法,构造出尺度不变 Harris 特征(Scale-Invariant Harris Feature,SIHF),并将 SIHF 特征用于稀疏匹配。本节具体过程如下。 1.1 尺度不变性 Harris 角点检测 首先建立图像的高斯尺度空间。将原始图像进行下采样,建立一个图像金字塔,对图像金
15、字塔的每一层通过高斯滤波建立一个线性尺度子空间。每次降采样得到的图像为一组,每组分为 s 层尺度子空间。 本文将图像金字塔分成 n 组, 每组 3 层。对于一张分辨率为 MN 的图像,n 由式(1)确定。 2)NMmin(logn2(1) 对尺度子空间中的每一幅图像,使用不同参数的高斯核进行模糊。 每个尺度子空间包含 s=3 层图像, 尺度抽样频率为 ks=32,初始高斯模糊因子为0=1.6。原图像为高斯金字塔的第一组, 第一组图像的高斯核函数为(1,s)=0kss-1, 高斯金字塔的下一组第一层高斯核函数与上一组的中间层相同,尺度不变性Harris 检测子的微分尺度为D=(n,s)。 然后在
16、尺度空间中检测 Harris 角点。尺度空间中的二阶矩阵10定义如式(2)所示。 ),(),(),(),()(),(D2 DDD2 2 DI yxIyxIIyxIIyxIgyxMyyxyxx ID(2) 其中:I是积分尺度,D是微分尺度,I=sD,这里 s 控制I和D的比值, 在这里取 s=0.8。 Ix和 Iy分别为图像点(x,y)在 x 方向和 y 方向的方向导数,计算方向导数的局部邻域是原图像与高斯核函数D卷积得到, 得到方向导数后用I的高斯核函数进行平滑。计算 Harris 角点响应值,本文采用角点响应函数12如式(3)所示。 eps),(trace),(det(CRF DIDI yx
17、MyxM (3) 其中:eps 是一个极小量(可取 eps=10-6),防止分母为零。对尺度子空间的每一幅图像根据式(2)和(3)计算每一点的 Harris 角点响应值,得到 Harris 角点响应金字塔,如图 2 所示。 最后选取尺度不变兴趣点。首先选取满足阈值条件的候选角点,当 Harris 角点响应阈值设置为最大响应值 Rmax的0.0050.015 倍,角点检测效果最好13, 本文角点响应阈值设置为 0.01Rmax。然后,本文提出尺度空间相邻层圆形窗非极大值抑制策略提取尺度不变兴趣点。如图 3 所示,在尺度空间中,在候选角点周围选取 12 邻域的圆形窗,如果该点位于第一层和最后一层,
18、 则在相邻层 25 邻域进行非极大值抑制, 如果该点位于的中间层, 则在相邻层 38 邻域进行非极大值抑制, 当满足上述条件时,便得到尺度不变兴趣点。 1.2 SIHF 特征描述和双向匹配 得到兴趣点后,对兴趣点进行特征描述,采用文献3的方法。首先在特征点周围选取1616的邻域,计算出邻域内像素点的梯度幅值和梯度方向,并统计出梯度直方图,取直方图峰值方向为主方向,大于峰值 80%的为辅方向,梯度幅值和梯度方向的定义如式(4)所示: 图 1 本文算法框架 图 2 Harris 角点响应金字塔 图 3 圆形窗非极大值抑制策略 优先出版 孙会超,等:基于尺度不变 Harris 特征的准稠密匹配算法
19、第 36 卷第 5 期 ), 1(), 1() 1,() 1,(tan),()1,() 1,()1(), 1(),(122yxLyxLyxLyxLyxyxLyxLyxLyxLyxm,(4) 其中:),(yxm和),(yx分别表示梯度幅值和梯度方向。 然后,将特征邻域划分成44的小栅格, 计算每个小栅格的 8 方向梯度幅值和梯度方向, 这样就构成了 128 维的特征描述子。 最后,为了去除光照变化对特征点的影响,对特征向量进行归一化处理以满足光照不变性。 特征匹配常用的方法是欧氏距离近邻之比的方法。由于特征向量进行了归一化,本文采用工程上常用的余弦距离14相似性测度进行匹配,余弦距离相似性测度计
20、算公式如下: )arccos(D|),cos(,T,jijijiji jijidxxxxxxd(5) 其中:xi、xj分别为两幅图像中 128 维的特征点集,di.j为两个特征向量的余弦角,Di,j为两个特征向量的余弦距离。如果第一个特征集中的特征向量与第二个特征集中的特征向量最近邻Dnearest与次近邻 D2nd-nearest的比值 ratio 小于某个阈值,则认为对应点为正确匹配。为得到更高的匹配正确率,采用双向匹配15策略,本文的双向匹配策略如下:首先,对图像 A 中的每个特征向量采用穷尽搜索找到图像B中满足最近邻与次近邻之比的特征向量,匹配得到第一个匹配点集;然后反过来由图像 B到
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 不变 Harris 特征 稠密 匹配 算法
限制150内