本书的目标是帮助读者全面、系统地学习机器学习所必须的数学知识。全书由8章组成，力求精准、小地覆盖机器学数学知识。包括微积分，线性代数与矩阵论，**化方法，概率论，信息论，随机过程，以及图论。本书从机器学角度讲授这些数学知识，对它们在该领域的应用举例说明，使读者对某些抽象的数学知识和理论的实际应用有直观、具体的认识。
本书内容紧凑，结构清晰，深入浅出，讲解详细。可用作计算机、人工智能、电子工程、自动化、数学等相关专业的教材与教学参考书。对人工智能领域的工程技术人员与产品研发人员，本书也有很强的参考价值。对于广大数学与应用的数学爱好者，本书亦为适合自学的读本。
·上海交通大学特别研究员、、百度算法专家、优酷首席科学家、谷歌机器学习开发者专家力荐教材
·透彻地理解机器学习算法，从数学层面搞懂这些核心算法原理的逻辑，具备推导和证明算法的能力
·在解决人工智能工程实践的问题中，能够用数学知识进行分析和建模
·精准覆盖人工智能领域中机器学习、深度学习、强化学习相关的数学知识
·从机器学习应用的角度讲授数学，让数学在机器学习中的应用无缝衔接
·涵盖概率论、信息论、优化方法等机器学习中的目标函数构造、模型优化以及各种机器学习算法的核心知识
·囊括了微积分和线性代数等
雷明，人工智能学习与实践平台SIGAI的创始人；2009年毕业于清华大学计算机系，获硕士学位，研究方向为机器视觉与机器学习；毕业后曾就职于百度公司，任不错软件工程师、项目经理。2012年加入zrnodo（深圳市智美达科技股份有限公司），任CTO与平台研发中心负责人；2018年2月创立SIGAI，其核心产品为云端实验室与知识库，为人工智能学习与实践提供便捷的一站式服务：在机器学习与深度学习、机器视觉、自然语言处理方向有扎实的理论功底与丰富的学术和产品研发经验，硕士期间曾发表论文数篇。
●章一元函数微积分1
1．1极限与连续
1．1．1可数集与不可数集
1．1．2数列的极限
1．1．3函数的极限
1．1．4函数的连续性与间断点
1．1．5上确界与下确界
1．1．6李普希茨连续性
1．1．7无穷小量
1．2导数与微分
1．2．1一阶导数
1．2．2机器学习中的常用函数
1．2．3高阶导数
1．2．4微分
1．2．5导数与函数的单调性
1．2．6极值判别法则
1．2．7导数与函数的凹凸性
1．3微分中值定理
1．3．1罗尔中值定理
1．3．2拉格朗日中值定理
1．3．3柯西中值定理
1．4泰勒公式
1．5不定积分
1．5．1不定积分的定义与性质
1．5．2换元积分法
1．5．3分部积分法
1．6定积分
1．6．1定积分的定义与性质
1．6．2牛顿-莱布尼茨公式
1．6．3定积分的计算
1．6．4变上限积分
1．6．5定积分的应用
1．6．6广义积分
1．7常微分方程
1．7．1基本概念
1．7．2一阶线性微分方程
第2章线性代数与矩阵论
2．1向量及其运算
2．1．1基本概念
2．1．2基本运算
2．1．3向量的范数
2．1．4解析几何
2．1．5线性相关性
2．1．6向量空间
2．1．7应用——线性回归
2．1．8应用——线性分类器与支持向量机
2．2矩阵及其运算
2．2．1基本概念
2．2．2基本运算
2．2．3逆矩阵
2．2．4矩阵的范数
2．2．5应用——人工神经网络
2．2．6线性变换
2．3行列式
2．3．1行列式的定义与性质
2．3．2计算方法
2．4线性方程组
2．4．1高斯消元法
2．4．2齐次方程组
2．4．3非齐次方程组
2．5特征值与特征向量
2．5．1特征值与特征向量
2．5．2相似变换
2．5．3正交变换
2．5．4QR算法
2．5．5广义特征值
2．5．6瑞利商
2．5．7谱范数与特征值的关系
2．5．8条件数
2．5．9应用——谱归一化与谱正则化
2．6二次型
2．6．1基本概念
2．6．2正定二次型与正定矩阵
2．6．3标准型
2．7矩阵分解
2．7．1楚列斯基分解
2．7．2QR分解
2．7．3特征值分解
2．7．4奇异值分解
第3章多元函数微积分
3．1偏导数
3．1．1一阶偏导数
3．1．2高阶偏导数
3．1．3全微分
3．1．4链式法则
3．2梯度与方向导数
3．2．1梯度
3．2．2方向导数
3．2．3应用——边缘检测与HOG特征
3．3黑塞矩阵
3．3．1黑塞矩阵的定义与性质
3．3．2凹凸性
3．3．3极值判别法则
3．3．4应用——小二乘法
3．4雅可比矩阵
3．4．1雅可比矩阵的定义和性质
3．4．2链式法则的矩阵形式
3．5向量与矩阵求导
3．5．1常用求导公式
3．5．2应用——反向传播算法
3．6微分算法
3．6．1符号微分
3．6．2数值微分
3．6．3自动微分
3．7泰勒公式
3．8多重积分
3．8．1二重积分
3．8．2三重积分
3．8．3n重积分
3．9无穷级数
3．9．1常数项级数
3．9．2函数项级数
第4章优化方法
4．1基本概念
4．1．1问题定义
4．1．2迭代法的基本思想
4．2一阶优化算法
4．2．1梯度下降法
4．2．2速下降法
4．2．3梯度下降法的改进
4．2．4随机梯度下降法
4．2．5应用——人工神经网络
4．3二阶优化算法
4．3．1牛顿法
4．3．2拟牛顿法
4．4分治法
4．4．1坐标下降法
4．4．2SMO算法
4．4．3分阶段优化
4．4．4应用——logistic回归
4．5凸优化问题
4．5．1数值优化算法面临的问题
4．5．2凸集
4．5．3凸优化问题及其性质
4．5．4机器学习中的凸优化问题
4．6带约束的优化问题
4．6．1拉格朗日乘数法
4．6．2应用——线性判别分析
4．6．3拉格朗日对偶
4．6．4KKT条件
4．6．5应用——支持向量机
4．7多目标优化问题
4．7．1基本概念
4．7．2求解算法
4．7．3应用——多目标神经结构搜索
4．8泛函极值与变分法
4．8．1泛函与变分
4．8．2欧拉—拉格朗日方程
4．8．3应用——证明两点之间直线短
4．9目标函数的构造
4．9．1有监督学习
4．9．2无监督学习
4．9．3强化学习
第5章概率论
5．1随机事件与概率
5．1．1随机事件概率
5．1．2条件概率
5．1．3全概率公式
5．1．4贝叶斯公式
5．1．5条件独立
5．2随机变量
5．2．1离散型随机变量
5．2．2连续型随机变量
5．2．3数学期望
5．2．4方差与标准差
5．2．5Jensen不等式
5．3常用概率分布
5．3．1均匀分布
5．3．2伯努利分布
5．3．3二项分布
5．3．4多项分布
5．3．5几何分布
5．3．6正态分布
5．3．7t分布
5．3．8应用——颜色直方图
5．3．9应用——贝叶斯分类器
5．4分布变换
5．4．1随机变量函数
5．4．2逆变换采样算法
5．5随机向量
5．5．1离散型随机向量
5．5．2连续型随机向量
5．5．3数学期望
5．5．4协方差
5．5．5常用概率分布
5．5．6分布变换
5．5．7应用——高斯混合模型
5．6极限定理
5．6．1切比雪夫不等式
5．6．2大数定律
5．6．3中心极限定理
5．7参数估计
5．7．1大似然估计
5．7．2大后验概率估计
5．7．3贝叶斯估计
5．7．4核密度估计
5．7．5应用——logistic回归
5．7．6应用——EM算法
5．7．7应用——MeanShift算法
5．8随机算法
5．8．1基本随机数生成算法
5．8．2遗传算法
5．8．3蒙特卡洛算法
5．9采样算法
5．9．1拒绝采样
5．9．2重要性采样
第6章信息论
6．1熵与联合熵
6．1．1信息量与熵
6．1．2熵的性质
6．1．3应用——决策树
6．1．4联合熵
6．2交熵
6．2．1交熵的定义
6．2．2交熵的性质
6．2．3应用——softmax回归
6．3Kullback-Leibler散度
6．3．1KL散度的定义
6．3．2KL散度的性质
6．3．3与交熵的关系
6．3．4应用——流形降维
6．3．5应用——变分推断
6．4Jensen-Shannon散度
6．4．1JS散度的定义
6．4．2JS散度的性质
6．4．3应用——生成对抗网络
6．5互信息
6．5．1互信息的定义
6．5．2互信息的性质
6．5．3与熵的关系
6．5．4应用——特征选择
6．6条件熵
6．6．1条件熵定义
6．6．2条件熵的性质
6．6．3与熵以及互信息的关系
6．7总结
第7章随机过程
7．1马尔可夫过程
7．1．1马尔可夫性
7．1．2马尔可夫链的基本概念
7．1．3状态的性质与分类
7．1．4平稳分布与极限分布
7．1．5细致平衡条件
7．1．6应用——隐马尔可夫模型
7．1．7应用——强化学习
7．2马尔可夫链采样算法
7．2．1基本马尔可夫链采样
7．2．2MCMC采样算法
7．2．3Metropolis-Hastings算法
7．2．4Gibbs算法
7．3高斯过程
7．3．1高斯过程性质
7．3．2高斯过程回归
7．3．3应用——贝叶斯优化
第8章图论
8．1图的基本概念
8．1．1基本概念
8．1．2应用——计算图与自动微分
8．1．3应用——概率图模型
8．1．4邻接矩阵与加权度矩阵
8．1．5应用——样本集的相似度图
8．2若干特殊的图
8．2．1联通图
8．2．2二部图
8．2．3应用——受限玻尔兹曼机
8．2．4有向无环图
8．2．5应用——神经结构搜索
8．3重要的算法
8．3．1遍历算法
8．3．2短路径算法
8．3．3拓扑排序算法
8．4谱图理论
8．4．1拉普拉斯矩阵
8．4．2归一化拉普拉斯矩阵
8．4．3应用——流形降维
书单推荐
