本书重点研究机器学习的数学理论。第壹部分探讨了在非凸优化问题中,选择梯度下降步长来避免严格鞍点的*优性和自适应性。在第二部分中,作者提出了在非凸优化中寻找局部极小值的算法,并利用牛顿第二定律在一定程度上得到无摩擦的全局极小值。第三部分研究了含有噪声和缺失数据的子空间聚类问题,这是一个由随机高斯噪声的实际应用数据和/或含有均匀缺失项的不完全数据激发的问题。*后,提出了一种新的具有粘性网正则化的VAR模型及其等价贝叶斯模型,该模型既考虑了稳定的稀疏性,又考虑了群体选择。
译者序
序言
致谢
前言
作者简介
第一部分 引言
第1章 绪论
1.1 神经网络
1.2 深度学习
1.3 梯度下降法
1.4 小结
1.5 本书结构
第2章 通用数学框架
2.1 机器学习与计算统计学
2.2 小结
第3章 优化理论简述
3.1 机器学习所需的优化理论
3.2 在线算法:机器学习的顺序更新
3.3 小结
第4章 改进的CoCoSSC方法
4.1 问题描述
4.2 梯度加速下降法
4.3 CoCoSSC方法
4.4 在线时变粘性网算法
4.5 小结
第5章 关键术语
5.1 一些定义
5.2 小结
第6章 关于非凸规划几何的相关研究
6.1 多元时间序列数据集
6.2 粒子学习
6.3 在气候变化中的应用
6.4 小结
第二部分 机器学习的数学框架:理论部分
第7章 收敛到最小值的梯度下降法:最优和自适应的步长规则
7.1 引言
7.2 符号与预备知识
7.3 最大允许步长
7.4 自适应步长规则
7.5 定理7.1的证明
7.6 定理7.2的证明
7.7 辅助定理
7.8 技术证明
7.9 小结
第8章 基于优化的守恒定律方法
8.1 准备:直观的解析演示
8.2 辛方法与算法
8.3 局部高速收敛现象的渐近分析
8.4 实验演示
8.5 小结与展望
第三部分 机器学习的数学框架:应用部分
第9章 含有噪声和缺失观测值的稀疏子空间聚类的样本复杂度的改进
9.1 CoCoSSC算法的主要结果
9.2 证明
9.3 数值结果
9.4 技术细节
9.5 小结
第10章 多元时间序列中稳定和分组因果关系的在线发现
10.1 问题表述
10.2 粘性网正则化
10.3 在线推理
10.4 实验验证
10.5 小结与展望
第11章 后记
参考文献