《机器学习及其应用》比较系统地介绍机器学习的基础理论与应用技术。首先,介绍掌握机器学习理论和方法所必须具备的基础知识,包括机器学习的基本概念与发展历程、模型构造与优化的基本方法;然后,介绍和讨论监督学习、无监督学习、集成学习、强化学习等传统机器学习理论与方法;在详细探讨神经网络与深度学习基本理论的基础上,介绍深度卷积网络、深度循环网络、生成对抗网络等若干典型深度学习模型的基本理论与训练范式,分析讨论深度强化学习的基本理论与方法。《机器学习及其应用》站在高年级本科生和低年级硕士研究生的思维角度编写,尽可能用朴实的语言深入浅出地准确表达知识内容,着重突出机器学习方法的思想内涵和本质,使得广大读者能够掌握全书主要内容。
《机器学习及其应用》每章均配有一定数量的习题,适合作为智能科学与技术、数据科学与大数据技术、计算机类相关专业的本科生或研究生的机器学习入门级教材,也可供工程技术人员和自学的读者学习参考。
深度凝练机器学习的现有知识体系,注重突出对基本理论与关键技术的介绍和讨论。
尽可能用朴实的语言深入浅出地介绍机器学习理论及相关算法设计技术。
在每个章节穿插相应的应用实例,使得广大读者能够比较系统地掌握机器学习应用技术。
人类文明由早期农耕时代经历漫长演化进入工业时代,再由工业时代进一步发展迈入当今的信息时代。数字化、网络化和智能化是信息时代的基本特征,将给人类文明带来科学技术水平上的巨大提升,令社会的方方面面产生深刻的变革,使得当代人们的生活和工作更加舒适、便捷。目前,作为引领信息社会发展动力的信息技术已经历了数字化和网络化阶段,正朝着智能化方向快速发展,人工智能技术在全社会得到前所未有的重视和广泛应用,并以前所未有的速度向前飞跃发展。为顺应时代发展潮流和把握发展机遇,我国及时制定并推出了新一代人工智能发展规划,把人工智能发展放在国家战略层面进行系统布局,使得人工智能成为新一轮产业变革的核心驱动力。目前,人工智能的理论研究和应用开发是一个非常重要的优先发展方向。
人工智能作为人脑器官的延伸,主要目标是通过计算机模拟人类大脑的某些思维方式或智能行为,如推理、证明、识别、感知、认知、理解、学习等思维方式或活动,使得计算机能够像人类一样进行思考。从外部环境中获得知识和经验的学习能力是人类的一项基本思维能力,机器学习要解决的问题就是如何使得机器具有与人类类似的学习能力,使得机器系统能够较好地了解外部环境并能够适应外部环境的变化。机器学习为人工智能系统提供了基础性的核心算法支撑,人工智能系统主要使用机器学习技术解析外部环境数据,从数据中获取知识和模型参数,获得可用于决策或预测的数学模型。要想学好人工智能,首先必须牢固掌握机器学习的基础理论与应用技术。
机器学习的主要目标是通过计算手段从经验数据等先验信息中获得一个具有较好泛化性能的数学模型,并使用该模型完成预测、分类和聚类等机器学习任务。因此,机器学习的研究对象主要是从经验数据等先验信息中产生或构造模型的训练学习算法,或者说机器学习是一门关于训练学习算法设计理论与应用技术的学问。我们知道,算法设计是一种思维的艺术,需要一定的抽象思维能力和数学知识。机器学习算法更是如此,不仅涉及微积分、数理逻辑、数理统计、矩阵计算、图论等数学知识,而且涉及众多zui优化理论与方法,这些为广大初学者掌握机器学习知识带来一定困难。为较好地满足广大读者系统地掌握机器学习入门性基础理论与应用技术的需要,本书的编写着重考虑如下两个要点:
第一,注重知识体系的完备性。作为人工智能的核心技术,机器学习随着人工智能的产生而产生并随着人工智能理论的发展而发展,目前已形成一个非常庞大且正在快速延伸发展的知识体系,众多学习算法精彩纷呈、目不暇接、不胜枚举。本书通过深度凝练机器学习的现有知识体系,构造一套相对完备的入门级机器学习基础理论与应用技术,在基本涵盖连接学习、符号学习和统计学习这三种基本学习类型的基础上,注重突出对基本理论与关键技术的介绍和讨论。
第二,强调可读性和可理解性。本书站在高年级本科生和低年级硕士研究生的思维角度编写,在保证表达准确的前提下,尽可能用朴实的语言深入浅出地介绍机器学习理论及相关算法设计技术,尽可能细致地阐述理论与算法的思想内涵和本质。通过学习书中实际算例的具体演算过程,读者能够对机器学习理论与算法有更加清晰、全面的理解。需要说明的是,本书并没有为了增加可读性而降低应有的内容深度,只是通过比较恰当的方式把相关知识表达得更加清楚明白,使得广大读者能够通过自己的努力就可以比较轻松地掌握机器学习的基本理论与应用技术。
本书比较系统地介绍机器学习的入门性基础理论与应用技术,内容主要包括机器学习的基本知识、模型估计与优化的基本方法、监督学习和无监督学习方法、集成学习、强化学习方法、神经网络与深度学习方法,将机器学习的经典内容与深度学习等前沿内容有机地结合在一起,形成一套相对完整、统一的知识体系,并在每个章节穿插相应的应用实例,使得广大读者不但能够较好地掌握机器学习的基本理论,而且能够比较系统地掌握其应用技术,为今后的工作和进一步学习打下扎实的理论与应用基础。全书共包含如下9章内容:
第1章和第2章是全书zui基础的知识内容,主要为后续机器学习具体方法的介绍提供必备的理论和技术基础。第1章主要介绍机器学习的基本知识,包括机器学习基本概念、误差分析、发展历程及需要解决的基本问题;第2章主要介绍模型估计与优化的基本方法,包括模型的参数估计、模型优化的基本概念与方法,以及若干模型正则化策略。
第3章至第6章比较系统地介绍传统机器学习理论与方法。第3章主要介绍监督学习模型与算法,包括线性模型、决策树模型、贝叶斯模型和支持向量机模型;第4章主要介绍聚类分析、主分量分析、稀疏编码等无监督学习的基本理论和方法;第5章主要介绍集成学习方法,包括Bagging集成学习和Boosting集成学习方法;第6章主要介绍强化学习方法,包括基本强化学习和示范强化学习方法。
第7章至第9章比较系统地介绍神经网络与深度学习方法。第7章主要介绍神经网络与深度学习的基本知识,包括神经网络的基本概念、基本模型和常用模型,以及深度学习的基本理论和模型训练方法;第8章主要介绍几种常用的深度网络模型与训练范式,包括深度卷积网络、深度循环网络和生成对抗网络;第9章主要介绍深度强化学习理论与方法,包括基于价值的学习和基于策略的学习。
限于篇幅,本书未将半监督学习、多示例学习、流形学习、迁移学习、度量学习、元学习、分布式学习等相对比较专门的机器学习前沿研究内容纳入介绍范围,读者可以查阅相关专著、学术论文或技术报告。事实上,如果牢固掌握了本书所介绍的机器学习基本知识内容,那么进一步学习和研究这些前沿知识就不是一件很难的事情。
本书由汪荣贵、杨娟、薛丽霞编著。感谢研究生叶萌、朱正发、汤明空、李文静、俞鹏飞、姚旭晨、陈龙、江迪、郑岩、韩梦雅、邓韬、王静、龚毓秀、李明熹、董博文、麻可可、李懂、刘兵,以及本科生孙旭等同学提供的帮助,感谢合肥工业大学计算机与信息学院、合肥工业大学人工智能学院、机械工业出版社的大力支持。
由于时间仓促,书中难免存在不妥之处,敬请读者不吝指正。
前言
第1章机器学习概述
1.1机器学习基本概念
1.1.1人工智能与机器学习
1.1.2机器学习基本术语
1.1.3机器学习误差分析
1.2机器学习发展历程
1.2.1感知机与连接学习
1.2.2符号学习与统计学习
1.2.3连接学习的兴起
1.3机器学习基本问题
1.3.1特征提取
1.3.2规则构造
1.3.3模型评估
1.4习题
第2章模型估计与优化
2.1模型参数估计
2.1.1zui小二乘估计
2.1.2zui大似然估计
2.1.3zui大后验估计
2.2模型优化基本方法
2.2.1梯度下降法
2.2.2牛顿迭代法
2.3模型优化概率方法
2.3.1随机梯度法
2.3.2zui大期望法
2.3.3蒙特卡洛法
2.4模型正则化策略
2.4.1范数惩罚
2.4.2样本增强
2.4.3对抗训练
2.5习题
第3章监督学习
3.1线性模型
3.1.1模型结构
3.1.2线性回归
3.1.3线性分类
3.2决策树模型
3.2.1模型结构
3.2.2判别标准
3.2.3模型构造
3.3贝叶斯模型
3.3.1贝叶斯方法
3.3.2贝叶斯分类
3.3.3贝叶斯回归
3.4支持向量机
3.4.1线性可分性
3.4.2核函数技术
3.4.3结构风险分析
3.5监督学习应用
3.5.1信用风险评估
3.5.2垃圾邮件检测
3.5.3车牌定位与识别
3.6习题
第4章无监督学习
4.1聚类分析
4.1.1划分聚类法
4.1.2密度聚类法
4.2主分量分析
4.2.1基本PCA方法
4.2.2核PCA方法
4.3稀疏编码与学习
4.3.1稀疏编码概述
4.3.2稀疏表示学习
4.3.3数据字典学习
4.4无监督学习应用
4.4.1热点话题发现
4.4.2自动人脸识别
4.5习题
第5章集成学习
5.1集成学习基本知识
5.1.1集成学习基本概念
5.1.2集成学习基本范式
5.1.3集成学习泛化策略
5.2Bagging集成学习
5.2.1Bagging集成策略
5.2.2随机森林模型结构
5.2.3随机森林训练算法
5.3Boosting集成学习
5.3.1Boosting集成策略
5.3.2AdaBoost集成学习算法
5.3.3GBDT集成学习算法
5.4集成学习应用
5.4.1房价预测分析
5.4.2自动人脸检测
5.5习题
第6章强化学习
6.1强化学习概述
6.1.1强化学习基本知识
6.1.2马尔可夫模型
6.1.3强化学习计算方式
6.2基本强化学习
6.2.1值迭代学习
6.2.2时序差分学习
6.2.3Q学习
6.3示范强化学习
6.3.1模仿强化学习
6.3.2逆向强化学习
6.4强化学习应用
6.4.1自动爬山小车
6.4.2五子棋自动对弈
6.5习题
第7章神经网络与深度学习
7.1神经网络概述
7.1.1神经元与感知机
7.1.2前馈网络模型
7.1.3模型训练基本流程
7.2神经网络常用模型
7.2.1径向基网络
7.2.2自编码器
7.2.3玻尔兹曼机
7.3深度学习基本知识
7.3.1浅层学习与深度学习
7.3.2深度堆栈网络
7.3.3DBN模型及训练策略
7.4神经网络应用
7.4.1光学字符识别
7.4.2自动以图搜图
7.5习题
第8章常用深度网络模型
8.1深度卷积网络
8.1.1卷积网络概述
8.1.2基本网络模型
8.1.3改进网络模型
8.2深度循环网络
8.2.1动态系统展开
8.2.2网络结构与计算
8.2.3模型训练策略
8.3生成对抗网络
8.3.1生成器与判别器
8.3.2网络结构与计算
8.3.3模型训练策略
8.4常用深度网络应用
8.4.1图像目标检测
8.4.2自动文本摘要
8.5习题
第9章深度强化学习
9.1深度强化学习概述
9.1.1基本学习思想
9.1.2基本计算方式
9.1.3蒙特卡洛树搜索
9.2基于价值的学习
9.2.1深度Q网络
9.2.2深度双Q网络
9.2.3DQN模型改进
9.3基于策略的学习
9.3.1策略梯度算法
9.3.2Actor-Critic算法
9.3.3DDPG学习算法
9.4深度强化学习应用
9.4.1智能巡航小车
9.4.2围棋自动对弈
9.5习题
参考文献