复杂曲面物体多视角激光点云3D建模关键技术研究 pdf下载

基于多视角激光点云的复杂曲面物体3D 建模关键技术，是当前数字摄影测量与计算机视觉交叉学科领域的热点和难点研究问题之一。研究的主要目标是根据摄影测量和计算机视觉的相关理论与处理手段，利用复杂曲面物体的点云数据，为基于特征关系图匹配的曲面物体识别建立模型库。本书较详细地介绍了复杂曲面物体激光点云3D 建模关键技术，探讨了多视角点云数据配准、点云数据（深度图像）区域分割、曲面参数方程拟合、特征提取与特征关系图表达等关键技术中涉及的核心问题。


目录
前言
第1章绪论1
1.1研究背景与意义1
1.2国内外研究现状及趋势4
1.2.1多视点云数据配准4
1.2.2点云数据区域分割5
1.2.3曲面拟合与特征提取6
1.3研究目标、内容与方案7
1.3.1研究目标7
1.3.2研究内容7
1.3.3研究方案9
1.4主要术语与符号说明12
1.4.1主要术语12
1.4.2主要符号13
参考文献14
第2章点云数据获取与预处理17
2.1数据获取方式分类17
2.2立体视觉生成点云19
2.2.1摄像机定标19
2.2.2空间点三维重建25
2.3三维激光扫描34
2.3.1激光扫描分类35
2.3.2激光扫描特点与精度37
2.3.3激光三角测距原理40
2.3.4激光点云三维建模流程42
2.3.5扫描点误差分析43
2.4数据预处理46
2.4.1点云平滑46
2.4.2点云滤波47
2.5本章小结51
参考文献51
第3章多视角激光点云配准与融合54
3.1刚体变换估计55
3.1.1四元数55
3.1.2估计刚体变换55
3.2迭代*近点（ICP）算法57
3.2.1初值获取58
3.2.2寻找*近对应点对58
3.3改进的迭代*近点算法59
3.3.1初始位姿估计59
3.3.2自动查找*近点的精确算法59
3.3.3改进的迭代*近点（ICP）配准算法60
3.4归一化互相关系数和迭代*近曲面片点云配准63
3.4.1微分不变特征计算63
3.4.2NZCC粗略配准64
3.4.3ICS精确配准66
3.4.4实验结果68
3.5自适应距离函数与迭代*近曲面片精细配准70
3.5.1粗略配准71
3.5.2基于ADF和ICS的精细配准72
3.5.3实验结果76
3.6点云数据后处理79
3.6.1多片点云数据融合79
3.6.2伪洞检测与填充81
3.7实验结果89
3.7.1实验数据格式简介89
3.7.2基于欧氏距离测度的点云配准93
3.8本章小结95
参考文献95
第4章点云数据（深度图像）区域分割99
4.1基于微分不变量和区域增长的深度图像分割99
4.1.1初始分割100
4.1.2区域连通与区域增长102
4.1.3实验结果103
4.2基于二值形态学的深度图像分割104
4.2.1二值形态学基本运算105
4.2.2深度图像分割106
4.2.3实验结果107
4.3基于形态学水线区域的深度图像分割108
4.3.1产生距离图109
4.3.2计算极限腐蚀集合110
4.3.3从种子开始区域生长111
4.3.4实验结果112
4.4参数活动轮廓模型距离图像分割113
4.4.1基本理论113
4.4.2参数活动轮廓模型114
4.4.3数值求解116
4.4.4实验结果118
4.5本章小结119
参考文献120
第5章三维模型表达与曲面特征提取122
5.1基于体的模型表达122
5.2基于表面的模型表达124
5.2.1整体网格表示124
5.2.2曲面片函数表示125
5.2.3特征关系图表达125
5.3二次曲面拟合与特征提取126
5.3.1二次曲面拟合126
5.3.2微分不变量127
5.3.3矩不变量128
5.4本章小结131
参考文献131
第6章实验结果与分析133
6.1实验环境介绍133
6.2多视激光点云配准136
6.2.1基于表面间三棱锥平均体积测度的点云配准136
6.2.2归一化互相关系数和迭代*近曲面片点云配准138
6.2.3自适应距离函数与迭代*近曲面片精细配准139
6.3.1基于微分不变量和区域增长的深度图像分割141
6.3.2基于二值形态学的深度图像分割142
6.3.3基于形态学水线区域的深度图像分割144
6.3.4参数活动轮廓模型距离图像分割145
6.4曲面片参数方程拟合146
6.4.1编钟顶部激光点云拟合146
6.4.2编钟上部把柄点云数据拟合147
6.4.3编钟把柄上外切点云拟合148
6.4.4编钟中部点云拟合148
6.4.5编钟下部前面点云拟合149
6.4.6编钟下部后面点云拟合149
6.5特征提取与特征关系图表示150
参考文献156
第7章总结与展望157
7.1总结157
7.2展望159


第1章绪论
使计算机具有通过灰度图像或点云数据感知环境三维信息是计算机视觉领域工作者研究的终*目标。三维物体识别是计算机视觉研究中很活跃和*困难的问题之一，识别系统必须解决如下几个问题[1]：①获取原始数据的传感器类型；②三维物体模型构造（表达）方法；③描述原始数据和物体模型的工具；④从输入数据获得的物体描述和物体模型描述之间的匹配方法。其中模型提供了视觉系统的先验知识；表达用于描述采集的数据和物体模型。由此可见，模型的构建和表示是三维物体识别中的前提和关键。如何在计算机中对物体进行快速、有效的建模，一直以来都是计算机视觉、计算机图形学研究领域的热点和难点。
传统的建模方法主要分为两类：①基于CAD的三维建模方法；②基于单一视点二维图像或2.5D点云数据的表面重建[2]。前者以物体为中心，稳定性好，信息量丰富,其目的是完整表达所设计的三维物体的信息，并用图像显示三维物体或计算各种设计参数，但CAD建模的目的与计算机视觉并不相同，因此CAD的模型表达往往不能直接应用于以识别为目的的视觉系统中，从模型的CAD表示到用于识别的表示之间的转换并不是一件容易的事。后者以观察者为中心，单一图像*多只能表示三维物体表面的一半，不能全面地表达三维物体的完整集合模型。
近年来兴起的中近距离三维激光扫描技术可以深入到任何复杂的环境及空间中进行扫描，并直接获取各种真实曲面物体的三维点云数据。激光采样点有组织地投影到二维网格上，每一个二维网格节点(u,v)对应一个空间三维点(u,v,f(u,v))。如果将二维网格上的节点看成像素，那么将形成一幅深度图像f(u,v)[3]。识别系统的性能可由物体的颜色和纹理等来改善，不过这往往使识别系统变得复杂和不稳定。由于物体的几何表达方法既表示了物体*重要的信息，也使识别变得简单、可靠。因此，物体的几何表达方法乃是目前三维物体识别中的主要手段。针对已有几何建模方法存在的问题，基于多视角激光点云，综合利用点云数据基于点集和基于网格的处理方法，研究三维曲面物体几何建模中所涉及的关键技术，包括多视点云拼接、深度图像分割、曲面代数拟合、特征提取和特征关系图生成等问题，*终为基于模型的三维曲面物体识别建立模型库。
1.1研究背景与意义
近十年来，研究者逐渐发现，由于灰度图像每个像素存储的是相应景物点的亮度（强度），在图像数据中缺少直接可利用的、比较可靠的、有关物体的深度及表面朝向等三维信息。因此，使图像分析，特别是三维物体建模与识别的研究陷入了困境[4]。激光扫描测量技术采用非接触主动测量方式直接获取高精度三维数据，具有摄影测量与遥感技术无法取代的优越性。激光扫描所获得的数据是由全离散的矢量深度点构成的“点云（pointcloud）”，常称为“深度图像（rangeimage）”[5]。深度图像能直接反映物体表面的三维特征，与灰度图像不同的是，其每个像素存储的是物体表面点与摄像机成像平面的距离[6]。由于点云数据没有光照产生的阴影问题，而且物体同一光滑面也没有由于不同颜色区域、材质等产生的“纹理”问题的困扰，直接而精确地体现了物体表面的几何测度，所以几何特征较易提取，而且精度也高，正被越来越多地用作计算机视觉系统的源图像。
近年来，随着激光扫描技术的不断成熟与发展，从多视点的点云数据构造物体完整的三维几何模型在计算机视觉、计算机图形学、计算机辅助设计、虚拟现实和非接触测量等领域获得了越来越广泛的应用[7]。基于该完整三维几何模型的物体识别技术的研究引起了广大学者的极大关注，出于机器人工件抓取任务、自动导航、自动检测、装配任务与医学图像的分析等大量现实应用的需要，如今三维曲面物体识别已成为一个很活跃的研究领域[1]。建模是物体识别的前提和关键技术，识别方法取决于模型的表达，因此，进行物体三维建模研究具有重大理论价值和潜在的应用前景。
2D以及3D多面体物体建模已经发展了几十年，有了相对较成熟的技术[8]。然而，3D曲面物体建模刚起步，与2D、3D多面体建模相比，有更多的复杂性和更强的实用性，其在军事、工业等社会诸多行业中具有潜在的、巨大的应用价值[9]，更受到研究者的重视，已成为当前计算机视觉、计算机图形学和非接触测量等多学科交叉领域的一个研究热点[10]。受到观察方向和物体本身形状的限制，不可能一次得到描述物体的所有点云数据，要获得物体表面的完整造型，需将多个视角获取的点云数据进行配准与融合，成物体准确的完整三维模型，更加符合人类生物视觉的整体感知性，大大减小了搜索空间。这样，多视场点云数据的精确匹配就成为三维建模中的关键步骤之一。
由深度图像进行三维物体建模是三维视觉领域中一个重要的研究内容，而深度图像分割是其中*重要也是*困难的任务之一[11]。图像分割是图像分析的基本任务，图像分割质量的优劣、区域界限定位的精度直接影响后续的区域描述以及图像的分析和理解，是图像处理、分析、理解中一个举足轻重的技术环节。关于点云数据的分割，前人已做了许多工作，但目前尚无通用的分割理论和适合所有图像的通用分割算法，即使给定一个实际图像分割问题，要选择适用的分割算法也还没有标准。一般的分割算法都是数值的方法，而数学形态学的方法则本质上是基于物体形状的几何的方法，因而更适合用于几何建模。另外，由实际物体获取的点云数据必然有噪声的干扰，而数学形态学算子则具有一定的抗噪声性能，而且计算效率也较高，在很多方面都要优于基于曲率卷积的线形代数系统，提取速度快，适合并行计算，具有良好的抗噪声性能，得到了很多的关注，被广泛地应用到了图像处理中。因此，进行基于形态学的点云数据分割研究有重要的科学价值和现实意义。
提取高级的模型特征，是实现三维物体建模的基础，虽然国内外已经有很多学者在进行这方面的研究，但由于真实世界物体的复杂性，它仍然是一个没有完全解决的难题。把完整点云数据分割成一些区域之后，这些区域分别对应于物体表面上的曲面块，其每个区域中所有的点均在同一曲面块上，采用代数曲面对这些深度数据点进行拟合。在三维空间曲面的函数表示中，常用的一类函数是广义圆柱面、超二次曲面和高阶多项式，但对于曲率光滑的物体，尤其是种类广泛的人造物体，二次曲面模型更适合于局部曲面片的表示[13]。与传统表达方法相比，基于特征关系图（attributerelationalgraph，ARG）的模型表达方法有许多独特之处，它可以解决普通表达方法无法解决的问题，能方便地表示物体表面的几何特征、结构和形状信息；能将物体识别问题使用图论的匹配技术（图论中的子图同构（isomorphism）、单一同态（monomorphism）和同胚（homomorphism）等方法）来实现。特征关系图描述方法能用图的结构直观地描述图像基元的特征和图像基元间的结构关系，由于引入了基元属性和基元间的关系属性，具有很强的表达能力[14]。因此，用二次曲面模型拟合曲面片、提取曲面基元特征并将其用特征关系图进行表达具有重要的研究价值。综观国内外激光扫描技术研究、应用成果，目前的数据处理方法集中在附加CCD影像进行融合，对直接从深度图像中进行目标分类和特征提取研究较缺乏[5]。利用多视角深度图像进行三维曲面物体建模已成为国际上计算机视觉领域的前沿热点研究问题，目前国内只有较少的文献对深度图像处理进行了研究，与国外的研究水平相距较大，限制了3D点云数据在视觉领域及其他工业领域的广泛应用。基于点云数据和特征关系图的实用三维曲面物体建模系统在国内、国际上都较少见，其关键技术还很不成熟和完善，而三维曲面物体建模在各行各业有广泛的应用前途，前景十分广阔，因此需要开展基于多视角点云数据的复杂曲面物体3D建模关键技术研究。其研究价值和意义归纳为以下三点。第*，基于激光点云和特征关系图的实用三维曲面物体建模系统关键理论与技术还不成熟和完善，本书综合利用激光点云基于点集和基于网格的处理方法，系统研究多视角点云数据配准、区域分割、曲面拟合、曲面特征提取等关键技术，对3D曲面物体建模与识别具有重要的理论意义。第二，本书研究能丰富激光扫描数据的建模理论，对于激光扫描数据的智能化处理有一定的理论指导意义。本书探究一种新的基于归一化零均值互相关系数（normalizedzero-meancross-correlationcoefficient，NZCC）、自适应距离函数（adaptivedistancefunction，ADF）和*近曲面片迭代（iterativeclosestSurface，ICS）的扫描点云自动配准算法，定量研究配准精度与配准效率的关系、测量误差对拼合精度的影响等；根据隐式函数理论，提出基于活动轮廓模型（activecontourmodel，ACM）的点云自动分割方法，避免三角网格重构，有效去除点云缺陷的影响，在保证分割精度的基础上实现点云的高效分割；引入线性*小二乘曲面拟合方法，实现对散乱点的快速可靠拟合。第三，课题研究的成果在文物保护、虚拟现实、工业自动化、生物医学工程、动画、数码城市、虚拟地理环境、汽车制造和逆向工程等领域都具有极大的实用价值和十分广阔的应用前景。
1.2国内外研究现状及趋势
三维曲面物体建模是计算机视觉的重要组成部分，是基于模型的三维物体识别的前提和关键。出于工业和医疗等领域大量现实应用的需要，如今三维物体建模已成为一个很活跃的研究领域，半个世纪以来受到各国研究者的广泛关注，并提出了众多的理论和方法。本书主要针对曲面物体多视角激光点云建模的关键技术对国内外研究现状作一个总结与分析。一般来说，三维曲面物体建模可以通过多视角点云数据配准、点云数据区域分割、曲面拟合与特征提取等几个阶段的处理来完成，下面按这几个处理阶段来对研究现状进行讨论。
1.2.1多视点云数据配准
复杂物体表面重构在逆向工程、计算机视觉、模式识别、三维动画、网上购物和虚拟现实等领域具有重要的应用。为重构三维物体的表面形状，须事先得到物体表面的点云数据。受观察方向和物体本身形状的限制，不可能一次得到描述物体所有视角点云数据，需将多个视角获取的点云数据进行配准，形成物体准确的完整3D模型，更加符合人类生物视觉的整体感知性。从多视角的点云数据构造物体完整的三维几何模型在计算机视觉、虚拟现实和非接触测量等领域获得了越来越广泛的应用[15,16]。
近年来，国际上许多学者进行了大量研究工作，比较典型的是Besl[17]、Chen[18]和Zhang[19]等提出的ICP算法及各种变形[20]，此类算法通过迭代的计算，使2个点云数据集上对应点对或者点面距离的均方误差*小，以实现点云数据的精确配准。至今，此类算法已经得到了很大的改进，但是由于其误差测度是定义在对应点对或者点面距离之上的，所以对应点对中存在不精确对应问题，使得此类算法受偏离点的影响很大[21]。文献[22]提出了一种ICL（iterativeclosestline）算法，通过直接对两个点云中的点连线并寻找对应线段进行配准，但存在无法保证线段之间的对应关系的缺陷。Wang等[23]综述了高精度的深度图像配准方法。Hou等[24]提出基于圆空间的多幅深度图像自动配准方法。
在国内，张宗华提出一种验证两个深度图像中对应点对有效性的方法，给出了判断待匹配深度图像之间的点对应条件的准则，并用“主次缝合线”法合成匹配后的深度图像[25]。高鹏东提出一种利用深度图像重叠区域间的空间体积作为误差度量的精确配准算法，通过寻找两幅深度图像重叠区域内的有效三角形对，并将这些三角形对所夹的三维空间作为误差测度来指导深度图像的配准，然后将对应三角形的质心作为对应点对，估计出新的空间位置转换关系[10]。该算法对初始的运动参数不敏感，收敛速度快而且具有较高的配准精度和较强的鲁棒性，抗噪声能力强。但该算法在海量数据下的效率不高。张鸿宾针对基于点对间距离度量的对准算法存在不精确对应的问题，提出一种基于表面间距离度量的对准算法[7]。通过构造三角网格来近似表示物体的表面，采用三角网格间*近距离的均值作为评价函数来估计运动参数，推导并简化了表面间距离计算的积分公式。该算法有较高的对准精度，而且收敛速度较快，抗噪声能力较强。
1.2.2点云数据区域分割
点云数据的分割是特征提取、建模、目标识别与定位的基础和关键。从20世纪60年代开始，人们就对区域分割进行了大量的研究，至今提出了上千种针对各种具体应用的分割算法。深度图像是离散坐标点阵列，不表达目标边界特征和拓扑关系[5]，到目前为止还没有通用、成熟、可行的深度图像分割理论和方法。传统的点云数据分割大致可以分为三类[6]：①基于边缘的分割方法；②基于区域的分割方法；③边缘和区域相结合的方法。
边缘法首先根据点的局部几何特性在点的集合中检测到边界点（如曲率阶跃点、曲率局部极值点、曲率过零点和深度不连续点），然后进行边界点的连接、拟合[26]。
Evgeni等基于深度图像三角面进行高斯曲率和平均曲率估计方法比较[27]。赖旭东针对机载激光雷达LIDAR深度数据深度成像得到的深度图像，运用经典边缘检测算子加以处理并比较各种算子处理后的结果，实验结果表明经过中值滤波后再提取边缘的效果要好于未加处理的边缘提取结果，且Roberts算子得到的边缘是单像素的，边缘定位较准[28]。Ho-KeunSong应用多种类型的梯度算子对深度边缘提取进行了实验[29]，*后证明Besl&Jain算子效果是*优的。Benlamri利用物体表面曲率变化对边缘进行检测[30]，但该方法只适用于噪声不大的图像。Jiang的基于扫描线的边缘提取方法[31]具有一定的优越特性。边缘法的特点是对区域边界的定位非常准确，运算速度快，在实际图像处理中，由于噪声、遮挡等因素的影响，很难形成连续的区域边界，用该方法提取出来的边界的质量不是很好。区域法可以形成封闭边缘，但算子结构复杂，容易发生边界错位现象，且运算结果依赖于初始种子和聚类数目的选取。它的代表方法有Besl提出的根据高斯曲率和平均曲率对8种表面类型进行分类，并利用二次曲面拟合进行区域增长[32]。Hoffman利用了模式聚类的思想，将每一个深度图像中的点看成是一个6维向量（包括行值、列值、深度值、三维的单位法向量），实现了分割[33]。董明晓对激光光刀扫描法所采集的距离数据，提出一种基于数据点曲率变化的区域分割方法[34]，该方法原理简单、方便实用、边界识取速度较快，但不足之处是要进行两次判断。Jaesik等通过分析表面适应模式改善深度图像分割[35]。区域法根据微分几何中曲面的某些特征参数（如高斯曲率）的性质来确定属于一个面的所有数据点，而上述特征参数的求取则是在曲面光滑连续的情况下才有效，由于真实物体表面不可能是完全光滑连续，而只可能是分片连续的，所以如何准确地估算出分片连续曲面的曲率是基于面分割方法的瓶颈。
较新趋势是采用边缘和区域相结合的方法[36]，这种方法取长补短。先进行边缘提取，用其结果确定区域的位置和数量，兼顾了速度和分割的准确率，但本质上这种方法都属于基于微分运算的分割方法，其缺点是需要复杂的运算且对噪声很敏感。除了以上分割方法，丁益洪提出了基于随机Hough变换的深度图像分割算法，并将实验结果同4种经典的深度图像分割算法在同一数据库中的分割结果进行比较分析[14]，表明该算法具有对噪声不敏感的优点，但其只能检测出深度图像中的平面区域，不适合三维曲面物体的分割。文献[12]中对四种深度图像分割算法进行比较。史文中等对车载激光扫描系统获取的深度图像，提出利用投影点密度进行深度图像分割的方法[5]，不需要使用其他辅助数据，直接对深度图像进行处理，开辟了深度图像数据处理和应用的新方向。向日华提出基于树结构椭圆簇分裂的深度图像分割算法[37]，针对结构光和激光雷达两种深度相机的60幅真实深度图像进行了实验，并与传统的树结构扰动方案以及K均值算法初始方案进行了客观比较。目前国内只有较少的文献对点云数据处理进行了研究，与国外的研究水平相距较大，限制了三维点云数据在视觉领域及其他工业领域的广泛应用。
1.2.3曲面拟合与特征提取
由于真实世界物体的复杂性，特征提取仍然是一个没有完全解决的难题。把点云数据分割成一些区域之后，需采用代数曲面对这些深度数据点进行拟合[38]以计算曲面特征。对于曲率光滑的物体，尤其是种类广泛的人造物体，二次曲面模型更适合局部曲面片的表示[13]。
根据人类视觉感知，物体总是被看做三维的，且其形状具有恒常不变性，因此进行特征提取时应选择采用那些对视角变化不敏感的不变量特征。在图像处理和计算机视觉中，使用特征不变量来建模以识别发生变换的目标物体是一个重要研究方向。物体不变量是在坐标发生变换时保持不变的量，在模式识别中是一个非常好的指标。目标物体在欧氏变换下的不变量得到了广泛的应用，物体欧氏不变量可分为局部不变量和全局不变量。局部不变量有累积角不变量、特征点曲率不变量等[39]；全局不变量有矩不变量、傅里叶描述子不变量[40]等。2000年，中国科学技术大学电子科学与技术系计算机视觉实验室的程义民教授对深度图像曲面上各点曲率及曲率分布为主的特征及其计算方法进行了详细的阐述[41]，但其没有考虑到矩不变量，不能获得足够丰富的完整特征信息。孙晓兰等从事基于网格采样的深度图像表面特征提取算法研究[6]，提取出深度图像的表面法线和方向间夹角。文献[42]给出2.5D深度图像局部特征提取和匹配方法。Hegde等[43]用基于规范切线的聚类方法提取来自SwissRangerSR-3000的深度图像的平面特征。
根据描述物体坐标系的不同，可以将三维物体表达方法分成以物体为中心和以观察者为中心两个主要类别[44]。其中以物体为中心的表达方法侧重在物体本身坐标系中描述物体，并使用与视点无关的本质特征来描述物体[1]。这方面的主要表达方法可以归为如下两大类：一是基于表面的表达方法，如多边形网格法、曲面片法、拟合表面参数表达法；二是基于体的表达法，这一类表达法是将物体分解成若干个基本几何体