目 录 第1章 绪 论 1 1.1 数字影像 2 1.1.1 数字影像概念 2 1.1.2 常见的影像类型 3 1.1.3 空间域和频率域处理 4 1.2 射影几何学基础 5 1.2.1 射影几何意义 5 1.2.2 射影变换 5 1.2.3 二维射影空间 6 1.2.4 三维射影空间 8 1.2.5 二维仿射变换 9 1.2.6 几何元素的分层表达 10 1.3 欧氏空间坐标转换 11 1.3.1 二维坐标转换 11 1.3.2 三维坐标转换 12 1.4 成像模型与成像系统中的坐标系 14 1.4.1 成像模型中的几何元素 14 1.4.2 成像系统中的坐标系 15 1.4.3 透视投影成像模型 16 1.5 常见的三维成像方式 19 1.5.1 人工输入方法 20 1.5.2 主动式扫描方法 20 1.5.3 被动式扫描方法 23 1.6 三维计算机视觉的应用 24 1.6.1 三维计算机视觉测量的应用领域 24 1.6.2 三维计算机视觉测量系统的常见技术指标参数 25 1.6.3 三维计算机视觉与摄影测量的关系 26 1.6.4 三维计算机视觉测量面临的问题 26 1.7 小结 27 参考文献 27 第2章 摄像机的几何标定 30 2.1 摄像机标定参数 30 2.1.1 内参数 30 2.1.2 外参数 32 2.1.3 标定方法分类 32 2.2 摄像机内参数标定 33 2.2.1 直接线性变换法 33 2.2.2 Tsai1987标定方法 36 2.2.3 Zhang1999标定方法 37 2.3 静态场景多视角下摄像机系统的自标定 39 2.3.1 基础矩阵 39 2.3.2 度量自标定 41 2.3.3 基于灭点的自标定方法 44 2.4 摄像机系统的半自动标定 45 2.4.1 标定装置 46 2.4.2 自动提取角点 46 2.4.3 人工靶标标志 47 2.5 摄像机与激光雷达的联合标定 49 2.5.1 多源融合的意义 49 2.5.2 时空配准 50 2.5.3 摄像机与激光雷达的联合标定 50 2.6 应用举例 52 2.6.1 标定工具箱 52 2.6.2 多源传感器联合标定 53 2.7 小结 54 参考文献 55 第3章 影像特征提取表达 58 3.1 影像特征的基本概念 58 3.1.1 特征表达形式 58 3.1.2 像素特征的基本要求 59 3.1.3 邻域范围 59 3.2 边缘和线特征提取 60 3.2.1 梯度算子 61 3.2.2 Canny边缘检测 64 3.2.3 Snake边缘提取 65 3.2.4 霍夫变换检测直线 66 3.3 点特征提取 67 3.3.1 Harris角点 67 3.3.2 FAST角点 69 3.3.3 SIFT特征提取 70 3.3.4 SURF特征提取 74 3.3.5 ORB特征检测 77 3.3.6 AKAZE特征检测 78 3.3.7 Lucas-Kanade光流算法 79 3.3.8 卷积神经网络特征提取 81 3.4 纹理特征表达 82 3.4.1 纹理的概念 82 3.4.2 纹理特征类型 83 3.4.3 纹理特征应用举例 85 3.5 应用举例 86 3.5.1 目标跟踪 86 3.5.2 全景拼接 86 3.6 小结 87 参考文献 88 第4章 由运动恢复结构 90 4.1 对极几何 90 4.1.1 极线与极点 90 4.1.2 基础矩阵 92 4.1.3 本质矩阵 93 4.2 影像的单应变换 94 4.2.1 投影矩阵和影像单应矩阵之间的关系 94 4.2.2 基础矩阵和影像单应矩阵之间的关系 95 4.3 求解二视图的基础矩阵 96 4.3.1 八点算法 96 4.3.2 七点算法 98 4.3.3 鲁棒算法 98 4.3.4 退化情况 100 4.3.5 三视图和四视图几何计算 100 4.4 摄像机位置姿态和场景结构恢复 101 4.4.1 初始化影像位置姿态和场景结构 101 4.4.2 由本质矩阵提取摄像机矩阵 102 4.4.3 更新结构和位置姿态 104 4.4.4 PnP问题 105 4.5 光束法平差 105 4.5.1 光束法平差模型 105 4.5.2 最小二乘原理 107 4.5.3 高斯?牛顿算法 107 4.5.4 列文伯格?马奎特算法 108 4.5.5 光束法平差的LM算法模型 109 4.5.6 稀疏光束法平差 109 4.6 应用举例 111 4.7 小结 113 参考文献 113 第5章 双目立体视觉 116 5.1 标准形式的双目系统 116 5.2 匹配基础 117 5.2.1 立体影像极线校正 117 5.2.2 匹配预处理 119 5.2.3 视差图原理 120 5.3 传统立体匹配算法 121 5.3.1 局部窗口匹配算法 121 5.3.2 匹配代价度量 122 5.3.3 代价聚合与视差计算 123 5.3.4 视差图后处理 124 5.3.5 动态规划法 125 5.3.6 半全局优化匹配算法 127 5.4 图割优化匹配算法 128 5.4.1 匹配问题中的马尔可夫模型 129 5.4.2 图割求解算法 129 5.4.3 超像素分割 132 5.4.4 高阶马尔可夫模型匹配算法 134 5.4.5 实验比较 135 5.5 结构光三维扫描 136 5.5.1 结构光三维扫描基本原理 136 5.5.2 二进制编码和灰度编码 139 5.5.3 相移法编码 139 5.5.4 混合方式：相移法+灰度码投影 141 5.5.5 其他编码模式 142 5.5.6 编码模式的比较 144 5.6 立体视觉标定 144 5.6.1 摄像机标定 145 5.6.2 投影仪标定 145 5.6.3 系统参数对精度的影响 146 5.7 应用举例 147 5.8 小结 149 参考文献 150 第6章 点云滤波与分割 152 6.1 采样点云特性 152 6.1.1 点云质量问题 152 6.1.2 点云数据组织和查询 153 6.2 点云滤波增强 155 6.2.1 点云的法向量估计 155 6.2.2 点云去噪一般方法 158 6.2.3 基于统计学的异常值检测 160 6.2.4 局部优化投影采样 160 6.2.5 密度加权局部优化投影采样 162 6.3 点云超体素分割 164 6.3.1 超体素 164 6.3.2 简单迭代分割方法 165 6.3.3 体素云连接性分割 166 6.3.4 评价指标 168 6.4 目标级别分割 169 6.4.1 目标分割引言 169 6.4.2 基于底层特征的分割 169 6.4.3 基于模型拟合的分割 170 6.4.4 基于深度学习的分割 173 6.5