《非参数统计(附光盘第2版应用统计学系列教材)》是非参数统计教材, 内容从经典非参数统计推断到现代前沿, 包括基本概念、单一样本的推断问题、两独立样本数据的位置和尺度推断、多组数据位置推断、分类数据的关联分析、秩相关和分位数回归、非参数密度估计、一元非参数回归和数据挖掘与机器学习共计 9 章. 本书配有大量与社会、经济、金融、生物等专业相关的例题和习题, 还配置了一些实验或案例. 方便结合 R软件进行探索、研究.
《非参数统计(附光盘第2版应用统计学系列教材)》可以作为高等院校统计、经济、金融、管理专业的本科生课程的教材, 也可以作为其他相关专业研究生的教材和教学参考书, 另外, 对广大从事与统计相关工作的实际工作者也极具参考价值.
第 2版前言
习惯于用数据思考和决策的人都清楚 ,和二三十年前相比 ,现在的数据分析面临着更大的挑战 .在咨询领域 ,数据误解、噪声数据、快速成像所产生的危害呈指数增长 .研究显示 ,今天大数据分析所涉及的数据所呈现出的复杂特征并没有和几十年前小规模数据的特征有多大区别 .此外 ,数据分析工具和封装的程序越来越容易获得 ,令人兴奋的可视化技术越来越吸引年轻人的目光 ,越来越技术化的数据分析孤立于通过观察并依循数据特点而进行的分析之外 .这些现象都表明我们的学生在尊重数据特点做出正确分析决定的能力方面训练不足.
经过五年多的等待 ,《非参数统计》第二版终于面世了 ,我很欣慰 ,因为这次出版适逢大数据时代 ,算作是我和我的团队献给我一直深爱的数据分析事业的一份礼物吧!
《非参数统计》第一版获得许多读者和同行青睐 ,第二版在保留第一版全部优点和特色基础上,作了许多优化、改进和创新 .这些优化、改进和创新包括:
(1)内容进行了全面更新 ,勘误了每一章 ,扩充了 U统计量理论 ,添加了新的非参数回归内容.
(2)可读性、易读性进一步提高 .为了做到这一点 ,我们对每一个章节的每一个句子 ,都经过了字斟句酌、反复推敲 ,尽可能使用短句子 ,同时 ,继续邀请优秀的本科生参与试读教材 ,充分听取他们的意见 ,力争使第二版的内容更加生动、深入浅出和言简意赅.
(3)调整结构体系 ,将原来的第一章 R基础调整至附录 ,原来的十章依次分九章排列 ——为每一章添加了一个实验或案例 ,强调了结合问题背景根据复杂数据分布特点进行数据分析和信息解读的培养思想 .这些实验和案例可以激发学生的学习兴趣,也为教师提供了丰富生动的教学内容.
在编写和修订的过程中 ,对我支持最多的是我的家人和我的团队 .特别感谢我的助教王聪同学协助整理了大部分案例和勘误表 ,许泳铎同学调整了部分实验 R程序,尤其是褚挺进老师加盟了我的教学团队 ,协助修订了第 8章和第 9章,最后,还要感谢清华大学出版社编辑负责的编辑校对工作.
王星
2014年 6月 10日于中国人民大学应用统计中心 and统计学院
第 1章基本概念 1
1.1非参数统计概念与产生.1
1.2假设检验回顾 5
1.3经验分布和分布探索 10
1.3.1经验分布 .10
1.3.2生存函数 .12
1.4检验的相对效率 .15
1.5分位数和非参数估计 18
1.6秩检验统计量 . 21
1.7 U统计量. .24
1.8实验.29习题 . .34
第 2章单一样本的推断问题 . 37
2.1符号检验和分位数推断 . 37
2.1.1基本概念 .37
2.1.2大样本计算 41
2.1.3符号检验在配对样本比较中的应用 43
2.1.4分位数检验 ——符号检验的推广. .44
2.2 Cox-Staut趋势存在性检验 45
2.3随机游程检验 . 49
2.4 Wilcoxon符号秩检验 . 52
2.4.1基本概念 .52
2.4.2 Wilcoxon符号秩检验和抽样分布 55
2.5单组数据的位置参数置信区间估计. .61
2.5.1顺序统计量位置参数置信区间估计 61
2.5.2基于方差估计法的位置参数置信区间估计 . 64
2.6正态记分检验 . 68
2.7分布的一致性检验 71
2.7.1 χ2拟合优度检验 . 71
2.7.2 Kolmogorov-Smirnov正态性检验.75
2.7.3 Liliefor正态分布检验 76
2.8单一总体渐近相对效率比较 .77
2.9实验.80习题 . .87
第 3章两独立样本数据的位置和尺度推断 . 90
3.1 Brown-Mood中位数检验 . .91
3.2 Wilcoxon-Mann-Whitney秩和检验 93
3.3 Mood方差检验 . 99
3.4 Moses方差检验 101
3.5实验 . 103习题.106
第 4章多组数据位置推断 .108
4.1试验设计和方差分析的基本概念回顾 108
4.2 Kruskal-Wallis单因素方差分析 115
4.3 Jonckheere-Terpstra检验.122
4.4 Friedman秩方差分析法 126
4.5随机区组数据的调整秩和检验 . 131
4.6 Cochran检验 133
4.7 Durbin不完全区组分析法 . 136
4.8案例 . 138习题.143
第 5章分类数据的关联分析 145
5.1 r × s列联表和 χ2独立性检验 . 145
5.2 χ2齐性检验 . 147
5.3 Fisher精确性检验 . 148
5.4 Mantel-Haenszel检验 151
5.5关联规则.153
5.5.1关联规则基本概念 153
5.5.2 Apriori算法 154
5.6 Ridit检验法 . 156
5.7对数线性模型 162
5.7.1对数线性模型的基本概念 . 163
5.7.2模型的设计矩阵 168
5.7.3模型的估计和检验 169
5.7.4高维对数线性模型和独立性 170
5.8案例 . 173习题.177
第 6章秩相关和分位数回归 181
6.1 Spearman秩相关检验. .181
6.2 Kendall τ相关检验 185
6.3多变量 Kendall协和系数检验. .189
6.4 Kappa一致性检验 . 192
6.5中位数回归系数估计法 194
6.5.1 Brown-Mood方法.194
6.5.2 Theil方法 196
6.5.3关于 α和 β的检验 . 197
6.6线性分位回归模型 . 199
6.7案例 . 202习题.207
第 7章非参数密度估计 . 209
7.1直方图密度估计. .209
7.1.1基本概念. .209
7.1.2理论性质和最优带宽 . .211
7.1.3多维直方图 . 213
7.2核密度估计 213
7.2.1核函数的基本概念 213
7.2.2理论性质和带宽 215
7.2.3多维核密度估计 218
7.2.4贝叶斯决策和非参数密度估计 221
7.3 k近邻估计 .224
7.4案例 . 225习题.232
第 8章一元非参数回归 . 234
8.1核回归光滑模型. .235
8.2局部多项式回归. .237
8.2.1 局部线性回归 . 237
8.2.2 局部多项式回归的基本原理 239
8.3 LOWESS稳健回归 240
8.4 k近邻回归 .241
8.5正交序列回归 243
8.6罚最小二乘法 245
8.7样条回归.246
8.7.1 模型 246
8.7.2 样条回归模型的节点 . .247
8.7.3 常用的样条基函数 248
8.7.4 样条模型的自由度 250
8.8案例 . 251习题.254
第 9章数据挖掘与机器学习 255
9.1一般分类问题 255
9.2 Logistic回归 . 256
9.2.1 Logistic回归模型 . 257
9.2.2 Logistic回归模型的极大似然估计 258
9.2.3 Logistic回归和线性判别函数 LDA的比较 259
9.3 k近邻 . 261
9.4决策树 . 262
9.4.1 决策树基本概念 262 CART.264
9.4.2
9.4.3 决策树的剪枝 . 265
9.4.4 回归树 266
9.4.5 决策树的特点 . 266
9.5 Boosting . 268
9.5.1 Boosting方法 . 268
9.5.2 AdaBoost.M1算法 268
9.6支持向量机 271
9.6.1 最大边距分类 . 271
9.6.2支持向量机问题的求解 . 273
9.6.3支持向量机的核方法 . .275
9.7随机森林树 277
9.7.1随机森林树算法的定义 . 277
9.7.2随机森林树算法的性质 . 277
9.7.3如何确定随机森林树算法中树的节点分裂变量 . 278
9.7.4随机森林树的回归算法 . 279
9.7.5有关随机森林树算法的一些评价 279
9.8多元自适应回归样条 . 280
9.8.1 MARS与 CART的联系 282
9.8.2 MARS的一些性质 282
9.9案例 . 283习题.294
附录 AR基础 297
A.1 R基本概念和操作.298
A.1.1 R环境 . 298
A.1.2常量 299
A.1.3算术运算 . 299
A.1.4赋值 300
A.2向量的生成和基本操作 300
A.2.1向量的生成.300
A.2.2向量的基本操作 302
A.2.3向量的运算.305
A.2.4向量的逻辑运算 305
A.3高级数据结构 . 306
A.3.1矩阵的操作和运算 . 306
A.3.2数组 308
A.3.3数据框 . 308
A.3.4列表 309
A.4数据处理 309
A.4.1保存数据 . 309
A.4.2读入数据 . 310
A.4.3数据转换 . 311
A.5编写程序 311
A.5.1循环和控制.311
A.5.2函数 312
A.6基本统计计算 . 313
A.6.1抽样 313
A.6.2统计分布 . 313
A.7 R的图形功能 . 314
A.7.1 plot函数 . 315
A.7.2多图显示 . 315
A.8 R帮助和包 . .317
A.8.1 R帮助 . 317
A.8.2 R包 317习题.317
附录 B常用统计分布表 . 321
参考文献 .362