1）点云概念
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
2）点云图像是最基础也是最常见的三维图像。
那什么是三维图像呢？三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据。
3）三维图像的表现形式
深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。
4）点云根据测量原理主要分为两种
根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
当然也有把激光和摄影相结合在一起的（多传感器融合技术），这种结合激光测量和摄影测量原理得到点云，包括三维坐标（XYZ）、激光反射强度（Intensity）和颜色信息（RGB）。
本次的文章主要讲的是基于摄像技术的点云配准。
5）点云的获取设备
RGBD设备（深度摄像机）是可以获取点云的设备。比如PrimeSense公司的PrimeSensor、微软的Kinect、华硕的XTionPRO。
6）点云的属性
空间分辨率、点位精度、表面法向量等。
7）点云存储格式
.pts; .asc ; *.dat; .stl ; [1] .imw；.xyz；.las。
8）点云的数据类型
（1）pcl::PointCloudpcl::PointXYZ
PointXYZ 成员：float x，y，z;表示了xyz3D信息，可以通过points[i].data[0]或points[i].x访问点X的坐标值
（2）pcl::PointCloudpcl::PointXYZI
PointXYZI成员：float x, y, z, intensity; 表示XYZ信息加上强度信息的类型。
（3）pcl::PointCloudpcl::PointXYZRGB
PointXYZRGB 成员：float x,y,z,rgb; 表示XYZ信息加上RGB信息，RGB存储为一个float。
（4）pcl::PointCloudpcl::PointXYZRGBA
PointXYZRGBA 成员：float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息，RGBA用32bit的int型存储的。
（5） PointXY 成员：float x,y;简单的二维x-y点结构
（6）Normal结构体：
表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值，用第四个元素来占位，兼容SSE和高效计算
9）点云处理的三个层次
一般将图像处理分为三个层次，低层次包括图像强化，滤波，关键点/边缘检测等基本操作。中层次包括连通域标记（label），图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。
低层次处理方法
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：ISS3D、Harris3D、NARF，SIFT3D
中层次处理方法
①特征描述：法线和曲率的计算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image
②分割与分类：
分割：区域生长、Ransac线面提取、全局优化平面提取
K-Means、Normalize Cut（Context based）
3D Hough Transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（PointNet，OctNet）
高层次处理方法
①配准
点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：
遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如RANSAC配准算法、四点一致集配准算法（4-Point Congruent Set, 4PCS）、Super4PCS算法等……
基于特征匹配的配准算法：
通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点FPFH特征的SAC-IA、FGR等算法、基于点SHOT特征的AO算法以及基于线特征的ICL等…
②SLAM图优化
Ceres（Google的最小二乘优化库，很强大）， g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、NDT
③三维重建
泊松重建、 Delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个Mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4D（3D+时间）生长态势；人体姿势识别；表情识别；
④点云数据管理
点云压缩，点云索引（KD、Octree），点云LOD（金字塔），海量点云的渲染。
三维计算视觉研究内容：
1）三维匹配：两帧或者多帧点云数据之间的匹配，因为激光扫描光束受物体遮挡的原因，不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法，常用的算法有最近点迭代算法 ICP和各种全局匹配算法。
2）多视图三维重建：计算机视觉中多视图一般利用图像信息，考虑多视几何的一些约束，射影几何和多视图几何是视觉方法的基础，在摄影测量中类似的存在共线方程。光束平差法是该类研究的核心技术。这里也将点云的多视匹配放在这里，比如人体的三维重建，点云的多视重建不再是简单的逐帧的匹配，还需要考虑不同角度观测产生误差累积，因此存在一个针对三维模型进行优化或者平差的过程在里面。多视图三维重建这里指的只是静态建模，输入是一系列的图像或者点云集合。可以只使用图像，或者只使用点云，也可以两者结合（深度图像）实现，重建的结果通常是Mesh网格。
- SFM（运动恢复结构） vs Visual SLAM [摘抄] SFM 和 Visual SLAM
- Multi-View Stereo （MVS）多视图立体视觉，研究图像一致性，实现稠密重建。
3）3D SLAM
按照传感器类型分类：可以分为基于激光的SLAM和基于视觉的SLAM。
基于激光的SLAM可以通过点云匹配（最近点迭代算法 ICP、正态分布变换方法 NDT）+位姿图优化（g2o、LUM、ELCH、Toro、SPA）来实现；实时激光3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman滤波方法。通常激光3D SLAM侧重于定位，在高精度定位的基础上可以产生3D点云，或者Octree Map。
基于视觉（单目、双目、鱼眼相机、深度相机）的SLAM，根据侧重点的不同，有的侧重于定位，有的侧重于表面三维重建。不过都强调系统的实时性。
（1）侧重于定位的VSLAM系统比如orbSLAM，lsdSLAM；VINS是IMU与视觉融合的不错的开源项目。
（2）侧重于表面三维重建SLAM强调构建的表面最优，或者说表面模型最优，通常包含Fusion融合过程在里面。通常SLAM是通过观测形成闭环进行整体平差实现，优先保证位姿的精确；而VSLAM通过Fusion过程同时实现了对构建的表面模型的整体优化，保证表面模型最优。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。
（4）目标检测与识别：无人驾驶汽车中基于激光数据检测场景中的行人、汽车、自行车、道路（车道线，道路标线，路边线）以及道路设施（路灯）和道路附属设施（行道树等）。这部分工作也是高精度电子地图的主要内容。当然高精度电子地图需要考虑的内容更多。同时室内场景的目标识别的研究内容也很丰富，比如管线设施，消防设施等。
（5）形状检测与分类：点云技术在逆向工程中有很普遍的应用。构建大量的几何模型之后，如何有效的管理，检索是一个很困难的问题。需要对点云（Mesh）模型进行特征描述，分类。根据模型的特征信息进行模型的检索。同时包括如何从场景中检索某类特定的物体，这类方法关注的重点是模型。
（6）语义分类：获取场景点云之后，如何有效的利用点云信息，如何理解点云场景的内容，进行点云的分类很有必要，需要为每个点云进行Labeling。可以分为基于点的分类方法和基于分割的分类方法。从方法上可以分为基于监督分类的技术或者非监督分类技术，深度学习也是一个很有希望应用的技术。最近深度学习进行点云场景理解的工作多起来了，比如PointNet，各种八叉树的Net。
（7）双目立体视觉与立体匹配 ZNCC：立体视觉（也称双目视觉）主要研究的两个相机的成像几何问题，研究内容主要包括：立体标定（Stereo Calibration）、立体校正（Stereo Rectification）和立体匹配（Stereo Matching）。目前，立体标定主要研究的已经比较完善，而立体匹配是立体视觉最核心的研究问题。按照匹配点数目分类，立体匹配可分为稀疏立体匹配（sparse stereo matching）和密集立体匹配（dense stereo matching）。稀疏立体匹配由于匹配点数量稀少，一般很难达到高精度移动测量和环境感知的要求。因此，密集立体匹配是学术界和工业界的主要研究和应用方向。
参考：https://mp.weixin.qq.com/s/cOHAQX12k19eogxfpk95tA
（8）自动造型（构型），快速造型（构型）技术。对模型进行凸分割，模型剖分，以实现模型进一步的编辑修改，派生出其他的模型。
（9）摄像测量技术，视频测量