数据孤岛问题已经成为制约人工智能发展的主要阻碍。在此背景下, 联邦学习(Federated Learning) 作为一种新兴的机器学习技术范式, 凭借其突出的隐私保护能力,展示出在诸多业务场景中的应用价值。
本书从联邦学习的基础知识出发, 深入浅出地介绍了中央服务器优化和联邦机器学习的算法体系, 详细阐述了联邦学习中涉及的加密通信模块的相关知识, 以定性和定量的双视角建立了联邦学习服务质量的评估维度、理论体系, 还延伸介绍了提升联邦学习服务质量的方法, 并对联邦学习的研究趋势进行了深入探讨与分析, 可以对设计和选择算法提供工具式的参考和帮助。
本书是高校、科研院所和业界相关学者研究联邦学习技术的理想读本, 也适合大数据、人工智能行业的从业者和感兴趣的读者参考。
王健宗
博士，美国佛罗里达大学人工智能博士后，工程师，某大型金融集团科技公司联邦学习团队负责人，中国计算机学会杰出会员、大数据和量子计算专业委员会委员，长期从事联邦学习、隐私计算技术研发和平台搭建工作，在联邦学习、人工智能、云计算、大数据等领域发表国际论文 50 余篇，出版《深入理解 AutoML 和 AutoDL)、《金融智能》等共四部作品。
李泽远
某大型金融集团科技公司 Al 产品经理，CCF
YOCSEF 深圳 AC 委员，长期负责 Al平台的标准
化产品设计，参与完成多项隐私计算产品在金融、医疗、政务场景中的交付落地，拥有丰富的实战经验。累计发表科研论文及申报专利数十篇 项，出版作品3部。
何安珣
某头部互联网公司产品经理。在金融科技领域深耕多年，在隐私计算领域生态建设、技术研究和架构搭建等方面拥有丰富的经验，致力于推动隐私计算行业数字经济转型。累计发表科研论文、申报专利数十篇 项，参与业内多项标准制定。
王伟
中国科学院信息工程研究所信息安全国家重点实验室助理研究员，信息安全博士，主要研究方向为密码技术。在国际学术会议上发表论文多篇，获得数项国家发明专利授权，承担和参与了多项国家和省部级科研项目。
第 1 章绪论 1
1.1人工智能的发展 1
1.1. 1人工智能的定义 1
1. 1. 2人工智能的发展历史及现状 2
1. 1. 3机器学习与数据 3
1.2隐私保护浮出水面 4
1.2. 1隐私保护问题 5
1. 2. 2隐私保护的攻击 5
1. 2. 3常见的隐私保护技术 7
1.3联邦学习的诞生 8
1.3. 1联邦学习的提出 8
1. 3. 2联邦学习的范式 9
1.3. 3联邦学习的应用 12
1. 4本章小结 13
第 2 章联邦学习基础 15
2.1联邦学习的基本概念 15
2. 2联邦学习的发展历程 17
2. 3联邦学习的基本类别与流程 18
2. 3. 1横向联邦学习 18
2. 3. 2纵向联邦学习 19
2. 3. 3联邦迁移学习 19
2. 3. 4联邦强化学习 20
2.4联邦学习的应用场景 21
2. 5本章小结 21
第 3 章中央服务器优化算法 23
3.1联邦随机梯度下降算法 23
3. 1. 1算法框架及参数 23
3. 1. 2目标函数 24
3. 1. 3算法流程 25
3. 2联邦平均算法 25
3. 2. 1算法框架及参数 26
3. 2. 2目标函数 27
3. 2. 3算法流程 27
3. 3差分隐私联邦随机梯度下降算法 28
3. 3. 1算法框架及参数 28
3. 3. 2相关函数说明 29
3. 3. 3算法流程 30
3. 4差分隐私联邦平均算法 31
3. 4. 1算法框架及参数 31
3. 4. 2算法流程 32
3. 5基于损失的自适应提升联邦学习算法 33
3. 5. 1算法框架及参数 34
3. 5. 2算法流程 35
3. 6自平衡联邦学习算法 36
3. 6. 1算法框架及参数 36
3. 6. 2算法流程 37
3. 7联邦近端算法 39
3. 7. 1算法框架及参数 40
3. 7. 2模块介绍 41
3. 7. 3算法流程 42
3. 8不可知联邦学习算法 43
3. 9 基于概率的联邦网络匹配算法Ⅰ: 单隐层神经网络匹配算法 50
3. 9. 1算法框架及参数 50
3. 9. 2模块介绍 53
3. 9. 3算法流程 56
3. 10基于概率的联邦网络匹配算法Ⅱ: 多隐层神经网络匹配算法 57
3. 10. 1算法框架及参数 57
3. 10. 2模块介绍 59
3. 10. 3算法流程 63
3.11联邦匹配平均算法 64
3. 11. 1算法框架及参数 64
3. 11. 2目标函数 65
3. 11. 3算法流程 66
3. 12本章小结 67
第 4 章联邦回归算法 69
4.1联邦机器学习算法的定义 69
4. 1. 1水平型分布数据 70
4.1. 2垂直型分布数据 70
4. 2线性回归 70
4. 2. 1横向线性回归 71
4. 2. 2纵向线性回归 74
4. 3逻辑回归 80
4. 3. 1横向逻辑回归 81
4. 3. 2纵向逻辑回归 88
4. 4本章小结 96
第 5 章联邦分类算法 97
5.1朴素贝叶斯分类法 97
5. 1. 1贝叶斯定理 97
5. 1. 2朴素贝叶斯分类的思想和工作过程 97
5. 1. 3横向朴素贝叶斯分类 98
5.1. 4纵向朴素贝叶斯分类 102
5. 2支持向量机 107
5. 2. 1横向支持向量机 109
5. 2. 2纵向支持向量机 116
5. 3本章小结 124
第 6 章联邦树模型 125
6. 1决策树 125
6. 1. 1横向决策树 126
6. 1. 2纵向决策树 131
6.2XGBoost 138
6. 2. 1参数及含义 139
6. 2. 2加法同态 140
6.2. 3SecureBoost 算法的流程 140
6. 3本章小结 143
第 7 章联邦推荐算法 145
7. 1K 均值算法 145
7.1. 1横向K 均值聚类算法 146
7. 1. 2纵向K 均值聚类算法 149
7. 1. 3任意数据 K 均值聚类算法 158
7. 1. 4安全两方 K 均值聚类算法 162
7. 2因子分解机 166
7.3基于近邻的协同过滤算法 171
7. 3. 1基于近邻的传统协同过滤算法 171
7. 3. 2基于用户的联邦协同过滤算法 173
7. 4基于矩阵的协同过滤算法 178
7. 4. 1基于矩阵的传统协同过滤算法 178
7. 4. 2基于矩阵的联邦协同过滤算法 178
7. 5矩阵分解算法 186
7. 5. 1基于 SGD 的联邦矩阵分解算法 186
7. 5. 2基于多视图的联邦矩阵分解算法 190
7. 5. 3兴趣点推荐算法 195
7. 5. 4基于差分隐私的联邦矩阵分解算法 197
7. 5. 5基于混淆电路的联邦矩阵分解算法 200
7. 5. 6基于相似度的联邦矩阵分解算法 205
7. 5. 7基于因子分析的联邦矩阵分解算法 209
7.5. 8基于深度学习的联邦矩阵分解算法 211
7. 6本章小结 213
第 8 章联邦学习系统的隐私与安全 215
8.1问题描述与安全模型 215
8. 2联邦学习隐私保护技术 216
8. 2. 1秘密共享 216
8. 2. 2不经意传输 218
8. 2. 3混淆电路 220
8. 2. 4同态加密 222
8. 2. 5差分隐私 224
8.3联邦学习安全防护技术 226
8. 3. 1密码算法 226
8. 3. 2身份认证 229
8. 3. 3通信安全 231
8. 3. 4存储安全 233
8. 3. 5可信计算 235
8. 4本章小结 237
第 9 章联邦学习的服务质量 239
9.1联邦学习服务质量的定义 239
9. 1. 1联邦学习服务质量的由来 239
9. 1. 2什么是联邦学习服务质量评估 241
9. 2联邦学习服务质量的评估维度 242
9. 2. 1模型性能 242
9. 2. 2数据传输效率 243
9. 2. 3网络性能 243
9. 2. 4计算资源
9. 2. 5联邦建模的鲁棒性
9. 3联邦学习服务质量的理论体系
9. 3. 1模型性能的评价指标
9. 3. 2联邦学习的通信指标
9. 3. 3资源调度代价
9. 3. 4联邦建模的鲁棒性
9. 3. 5隐私保护技术的选取
9. 3. 6权值更新方法
9. 4提升联邦学习服务质量的方法
9. 4. 1联邦学习的算法优化
9. 4. 2联邦学习的通信优化
9. 4. 3联邦学习的末位淘汰
9. 4. 4增强联邦学习系统的鲁棒性
9.5本章小结
第 10 章联邦学习的研究趋势
10.1联邦学习的优化研究
10. 2联邦学习的安全和隐私研究
10. 3联邦学习的应用领域研究
10. 4本章小结
附录
附录 ACholesky 分解
附录 BLDLT 分解
附录 C共轭梯度法
参考文献
书单推荐
