本书全面介绍高维概率的理论、关键工具和现代应用,涵盖Hoeffding不等式和Chernoff不等式等经典结果以及Matrix Bernstein不等式等现代发展,还介绍了基于随机过程的强大方法,包括Slepian、Sudakov和Dudley不等式等工具,以及基于VC维数的通用链和界。全书使用了大量插图,包括协方差估计、聚类、网络、半定规划、编码、降维、矩阵补全、机器学习、压缩感知以及稀疏回归的经典和现代结果。
本书赞誉
序言
前言
第0章 预备知识:用概率覆盖一个几何集1
0.1 后注3
第1章 随机变量的预备知识4
1.1 随机变量的数字特征4
1.2 一些经典不等式5
1.3 极限理论7
1.4 后注8
第2章 独立随机变量和的集中9
2.1 集中不等式的由来9
2.2 霍夫丁不等式11
2.3 切尔诺夫不等式14
2.4 应用:随机图的度数16
2.5 次高斯分布17
2.6 广义霍夫丁不等式和辛钦不等式22
2.7 次指数分布24
2.8 伯恩斯坦不等式28
2.9 后注30
第3章 高维空间的随机向量32
3.1 范数的集中32
3.2 协方差矩阵与主成分分析法34
3.3 高维分布举例38
3.4 高维次高斯分布42
3.5 应用:Grothendieck不等式与半正定规划46
3.6 应用:图的最大分割50
3.7 核技巧与Grothendieck不等式的改良52
3.8 后注55
第4章 随机矩阵57
4.1 矩阵基础知识57
4.2 网、覆盖数和填充数61
4.3 应用:纠错码64
4.4 随机次高斯矩阵的上界67
4.5 应用:网络中的社区发现70
4.6 次高斯矩阵的双侧界74
4.7 应用:协方差估计与聚类算法75
4.8 后注78
第5章 没有独立性的集中80
5.1 球面上利普希茨函数的集中80
5.2 其他度量空间的集中85
5.3 应用:Johnson-Lindenstrauss引理89
5.4 矩阵伯恩斯坦不等式92
5.5 应用:用稀疏网络进行社区发现98
5.6 应用:一般分布的协方差估计99
5.7 后注101
第6章 二次型、对称化和压缩103
6.1 解耦103
6.2 Hanson-Wright不等式106
6.3 各向异性随机向量的集中109
6.4 对称化110
6.5 元素不是独立同分布的随机矩阵112
6.6 应用:矩阵补全114
6.7 压缩原理116
6.8 后注118
第7章 随机过程119
7.1 基本概念与例子119
7.2 Slepian不等式122
7.3 高斯矩阵的精确界127
7.4 Sudakov最小值不等式129
7.5 高斯宽度131
7.6 稳定维数、稳定秩和高斯复杂度135
7.7 集合的随机投影137
7.8 后注140
第8章 链142
8.1 Dudley不等式142
8.2 应用:经验过程148
8.3 VC维数152
8.4 应用:统计学习理论161
8.5 通用链166
8.6 Talagrand优化测度和比较定理169
8.7 Chevet不等式170
8.8 后注172
第9章 随机矩阵的偏差与几何结论174
9.1 矩阵偏差不等式174
9.2 随机矩阵、随机投影及协方差估计179
9.3 无限集上的Johnson-Lindenstrauss引理181
9.4 随机截面:M界和逃逸定理183
9.5 后注186
第10章 稀疏恢复187
10.1 高维信号恢复问题187
10.2 基于M界的信号恢复188
10.3 稀疏信号的恢复189
10.4 低秩矩阵的恢复192
10.5 精确恢复和RIP194
10.6 稀疏回归的Lasso算法199
10.7 后注203
第11章 Dvoretzky-Milman定理204
11.1 随机矩阵关于一般范数的偏差204
11.2 Johnson-Lindenstrauss嵌入和更精确的Chevet不等式206
11.3 Dvoretzky-Milman定理208
11.4 后注211
练习提示212
参考文献217
索引226