机器视觉的应用越来越广泛，目前已经成功的被应用到机器人、自动驾驶、成像和监控、视频分析等诸多领域，甚至已将跟踪用于武器装备等高精尖分析项目中。本教材为读者提供了重要的机器视觉分析及实现工具，全书内容共9章。第1章为基础铺垫，主要包括机器视觉的相关概念，机器视觉的发展、基本任务、应用领域与困难以及Marr视觉理论等；第2章至第5章主要为机器视觉中对图像处理的核心环节，内容包括机器视觉图像处理基础知识、相机成像、相机标定以及图像恢复（Shape from X）；第6章至第8章则开始重点介绍三维空间中机器视觉关键技术，即双目立体视觉、结构光三维视觉以及深度相机；最后第9章为机器视觉领域的应用，包括机器学习在模式识别、图像超分辨率重建，以及基于飞桨的百度智能车道线检测、大场景三维重建、人体三维视觉扫描案例、三维机器视觉引导机器人打磨抛光、自主焊接、垃圾识别与分拣等目前较受关注的应用项目。本书配套资源齐全，可提供全部源代码、课程PPT以及二维码演示视频。 本书可作为普通高等院校人工智能类、计算机类、自动化类、电气类、电子信息类等专业的本科及研究生学习机器视觉及计算机视觉课程的教材，也可以供从事人工智能、机器视觉和图像处理等研究与应用的科技人员参考。
本书作者将多年的工程项目开发案例写入教材，引导读者进行机器视觉技术实际工程能力的锻炼，本书在讲解机器视觉工程技术知识的同时，也弘扬了社会主义核心价值观，坚定文化自信，推进工程技术的改革创新。
本书的内容的编写除了保证内容的先进性，还需要考虑讲解内容的经典性，使读者容易理解讲解内容的原理、理论知识。成像模型和透视投影模型中借鉴《Robot Vision》的思路和方法。使学生掌握摄像机标定、空间坐标系、相机坐标系等基础知识和内容。在案列的程序设计方面，采用Matlab和OpenCV (C )语言同时实现，加强学生对程序的编写、算法实现的能力，从而增强其在机器视觉方面的软件开发能力。此外，本书还增加了微软Kinect，以及Intel Real Sense产品在机器学习方面的具体应用实例
随着计算机技术、光电子技术、信号处理理论与技术、人工智能理论与技术的发展，机器视觉得到了飞速的发展和广泛的应用，在科研和实际生产中发挥了重要的作用。机器视觉作为人工智能的重要分支，很大程度上代表了人工智能的发展水平，在人工智能领域的地位不言而喻。当前我国社会对从事机器视觉、人工智能领域的人才需求量日益增加。
机器视觉课程是国内外高校本科生和研究生的重要专业课，涉及信号处理、数字图像处理、模式识别、人工智能和光电子学等领域，是一门交叉性很强的课程。本书作者将多年的工程项目开发案例写入教材，引导读者进行机器视觉技术实际工程能力的锻炼，培养学生探索未知、追求真理、勇攀科学高峰的责任感和使命感以及精益求精的大国工匠精神。
党的二十大报告指出，开辟发展新领域新赛道，不断塑造发展新动能新优势。本书在讲解机器视觉工程技术知识的同时，也弘扬了社会主义核心价值观，坚定文化自信，推进工程技术的改革创新。本书共8章。第1章为绪论。第2章为相机成像与标定，包括射影几何与几何变换、相机标定基础、相机标定方法、相机标定的MATLAB与OpenCV实现、圆形板标定方法、单相机与光源系统标定及机器人手眼标定。第3章为双目立体视觉，包括双目立体视觉原理、图像特征点、立体匹配等内容。第4章为面结构光三维视觉，包括单幅相位提取方法、多幅相位提取方法和相位展开方法等内容。第5章为线结构光三维测量，主要包括线结构光提取、单目与双目线结构光测量原理、三维人体扫描等内容。第6章为深度相机三维测量，主要包括飞行时间测量方法、散斑结构光测量方法、激光雷达测量方法等内容。第7章为三维形状恢复方法，主要包括光度立体、从明暗恢复形状、从运动恢复形状、NeRF技术等。第8章为机器视觉案例应用。除第1章外，本书大部分章节都配有应用案例，包括案例的分析过程，实验数据或程序代码及运行结果。
本书积累了作者多年来在机器视觉和人工智能领域的科研和教学成果，是一本面向工程专业的本科生与研究生的教材。书中包含经典和最新的机器视觉案例。通过讲解案例背景与原理、设计思路、实验步骤、开发环境与工具以及实验结果，学生能够根据案例理解相关理论知识和内容，同时也为教学提供了丰富可靠的工程应用经验，有利于加强工程实际应用的理论和知识的学习。本教材对从事机器视觉的科研人员和工程师也具有一定的参考作用。
本书由天津工业大学宋丽梅、朱新军、李云鹏等编著，天津工业大学路士坤、赵于霄龙、徐宝林、王洪立、于海渤、马坤、陈一凡、夏志磊、张佳磊、兰天阳、佟宇、张宗阳、刘梦雅、王烁鹏、韩志强等参与了编写工作。第1章由朱新军编写，第2章由李云鹏、路士坤等编写，第3章由宋丽梅、赵于霄龙、徐宝林等编写，第4章由宋丽梅、马坤、陈一凡等编写，第5章由李云鹏、王洪立、于海渤等编写，第6章由朱新军、夏志磊、张宗阳等编写，第7章由朱新军、张佳磊、兰天阳等编写，第8章由宋丽梅、佟宇等编写。深圳奥比中光科技有限公司为本书的撰写也提供了帮助。另外，本书还附有相应的程序代码（电子资源）和二维码资源，读者可以扫码观看演示过程和效果。
本书的出版得到了天津市教育科学规划课题重点课题（BIE210025）的资助，是天津市重大科技成果科普化示范项目（22KPXMRC00090）的支撑教材。此外，本书也得到了天津市高等学校创新团队培养计划（TD13-5036）和中国学位与研究生教育学会研究课题（2020MS1019）的资助。
由于作者水平有限，书中难免存在不妥之处，敬请读者批评指正。
2012年获得香港桑麻奖教金； 2014年获得天津市5.1劳动奖章； 2015年入选天津市131一层次人才，获得天津工业大学教学质量一等奖； 2016年获得天津市三八红旗手称号； 2019年获得天津市工程专业学位优秀指导教师奖、天津市工程专业学位硕士研究生优秀学位论文指导教师奖、天津市工程专业学位优秀教学成果奖一等奖，主编的《数字图像处理基础及工程应用》获得天津市工程专业学位优秀教材二等奖； 2021年，主讲课程入选天津市一流课程，正在参加国家一流课程的评选。
前言
第1章绪论
1.1机器视觉
1.1.1机器视觉的发展
1.1.2机器视觉与其他领域的关系
1.2机器视觉研究的任务、基本内容、
应用领域与困难
1.2.1任务
1.2.2基本内容
1.2.3应用领域
1.2.4困难
1.2.5机器视觉与人的视觉关系
1.3马尔视觉理论
1.3.1视觉信息加工过程
1.3.2视觉系统研究的三个层次
1.3.3视觉系统处理的三个阶段
1.4机器视觉与计算成像
1.4.1单光子成像
1.4.2单像素成像
1.4.3偏振成像
1.4.4光场成像
1.4.5事件相机
【本章小结】
【课后习题】
第2章相机成像与标定
2.1射影几何与几何变换
2.1.1空间几何变换
2.1.2三维到二维投影
2.2相机标定基础
2.2.1线性模型
2.2.2非线性模型
2.2.3空间坐标系及变换
2.3相机标定方法
2.3.1Tsai相机标定
2.3.2DLT标定
2.3.3张正友标定
2.3.4PNP标定
2.4相机标定的MATLAB与OpenCV
实现
2.4.1MATLAB棋盘格标定
2.4.2OpenCV棋盘格标定
2.5圆形板标定方法
2.5.1单目相机标定
2.5.2双目相机标定
2.6单相机与光源系统标定
2.6.1背景
2.6.2原理与方法
2.7案例-机器人手眼标定
2.7.1机械臂坐标系
2.7.2手眼标定
【本章小结】
【课后习题】
第3章双目立体视觉
3.1双目立体视觉原理
3.1.1双目立体视觉测深原理
3.1.2极线约束
3.2双目立体视觉系统
3.2.1双目立体视觉系统分析
3.2.2平行光轴的系统结构
3.2.3非平行光轴的系统结构
3.2.4双目立体视觉的精度分析
3.3图像特征点
3.3.1SIFT特征点
3.3.2SURF特征点
3.3.3ORB特征点
3.3.4基于深度学习的特征点
3.4立体匹配
3.4.1稀疏匹配
3.4.2稠密匹配
3.5案例-双目立体视觉实现深度
测量
3.5.1相机标定
3.5.2实验图片采集和矫正
3.5.3圆心坐标提取
3.5.4视差和深度计算
3.5.5计算三维坐标并三维输出空间
位置
3.6双目立体成像
3.6.1立体摄相机原理
3.6.2立体摄相机拍摄技术
3.7案例-双目立体视觉三维测量
3.7.1相机标定
3.7.2立体匹配
3.7.3三维重建
3.8案例-基于深度网络的自由双目
三维重建
3.8.1实验系统
3.8.2立体匹配实验
3.8.3点云拼接
【本章小结】
【课后习题】
第4章面结构光三维视觉
4.1单幅相位提取方法
4.1.1窗傅里叶变换法
4.1.2窗傅里叶脊法
4.1.3二维连续小波变换法
4.1.4BEMD法
4.1.5VMD法
4.1.6变分图像分解法
4.2多幅相位提取方法
4.3相位展开方法
4.3.1格雷码
4.3.2外差多频
4.3.3三频相位展开方法
4.3.4双互补相位编码
4.4案例-基于条纹投影结构光
三维扫描仪的牙模扫描
4.5案例-鞋底打磨
【本章小结】
【课后习题】
第5章线结构光三维测量
5.1线结构光提取
5.1.1线结构光特点
5.1.2线结构光中心线提取方法
研究
5.2单目线结构光测量原理
5.2.1激光三角法简介
5.2.2单目线结构光的光平面标定
方法
5.2.3系统设计与搭建
5.2.4结果与分析
5.3双目线结构光测量原理
5.3.1外极线约束原理
5.3.2系统设计与搭建
5.4三维人体扫描
5.4.1激光三角法应用于三维人体
扫描仪
5.4.2三维人体扫描仪的系统构成
5.4.3系统设计与搭建
5.5结构光引导的大型压力容器
内部焊接系统
5.5.1系统总体方案
5.5.2结构光视觉传感系统设计
5.5.3系统软件设计与搭建
5.5.4结果与分析
【本章小结】
【课后习题】
第6章深度相机三维测量
6.1飞行时间测量方法
6.1.1深度相机基本原理
6.1.2相位解调技术
6.2散斑结构光测量方法
6.2.1双目测量方法
6.2.2单目测量方法
6.3激光雷达测量方法
6.3.1激光雷达测距原理
6.3.2激光雷达三维形貌测量原理
6.3.3车载激光雷达
6.3.4激光雷达生成点云
6.4视觉SLAM
6.4.1经典视觉SLAM
6.4.2视觉SLAM方法
6.5案例-RGB-D视觉SLAM地图
重建
6.5.1前端算法设计
6.5.2后端算法设计
6.5.3实验设计与结果分析
6.6案例-大场景三维重建
6.6.1三维激光扫描技术原理
6.6.2法如三维激光扫描仪使用基本
流程
6.6.3测量试验与结果
6.7案例-基于平面约束的三维
重建
6.7.1技术原理
6.7.2准备工作
6.7.3实验结果
【本章小结】
【课后习题】
第7章三维形状恢复方法
7.1光度立体
7.1.1典型算法介绍
7.1.2典型算法实现
7.1.3算法实例
7.2从明暗恢复形状
7.2.1SFS问题的起源
7.2.2SFS问题的解决方案
7.2.3最小值方法
7.2.4演化方法
7.2.5局部分析法
7.2.6线性化方法
7.3从运动恢复形状
7.3.1光流与运动场
7.3.2多视图恢复形状
7.4NeRF技术
7.4.1神经辐射场简介
7.4.2体素渲染
7.4.3位置编码
7.4.4网络结构
7.4.5对比效果
7.5案例-从阴影恢复形状
7.5.1三维缺陷自动检测
7.5.2气泡大小的自动检测
7.5.3对生活物品的三维恢复
【本章小结】
【课后习题】
第8章机器视觉案例应用
8.1Open3D应用案例
8.2智能车道线检测
8.3三维机器视觉引导机器人打磨
抛光
8.3.1双目视觉导引机器人自主打磨
系统
8.3.2系统标定实验
8.3.3机器人自主打磨实验
8.3.4视觉引导机器人自主打磨性能
评价
8.4三维机器视觉引导机器人自主
焊接
8.4.1系统组成部分
8.4.2系统标定
8.4.3焊接点位提取和姿态解算
8.5机器视觉引导机器人垃圾识别
与分拣
8.5.1智能垃圾分拣系统设计方案
8.5.2垃圾分拣系统的标定
8.5.3垃圾分类中的定位与目标
检测
8.5.4垃圾姿态检测算法
8.5.5智能垃圾分拣系统测试
8.6车轴检测
8.6.1图像分析法
8.6.2全站仪
8.6.3加权LM算法
8.6.4车轴测量系统实验
8.7云台视觉跟踪
8.7.1云台视觉跟踪设计方法原理
8.7.2实验与分析
8.7.3云台跟踪系统测试
【本章小结】
参考文献
书单推荐
