本书基于作者多年的研究成果，详细介绍了跨数据中心机器学习的训练系统设计和通信优化技术。本书面向多数据中心间的分布式机器学习系统，针对多数据中心间有限的传输带宽、动态异构资源，以及异构数据分布三重挑战，自底向上讨论梯度传输协议、流量传送调度、高效通信架构、压缩传输机制、同步优化算法、异构数据优化算法六个层次的优化技术，旨在提升分布式机器学习系统的训练效率和模型性能，突破跨数据中心机器学习的通信瓶颈和数据壁垒，实现多数据中心算力和数据资源的高效整合。本书可作为跨数据中心机器学习的参考资料，供人工智能及分布式计算领域的科研和工程人员阅读。
虞红芳，博士，电子科技大学教授、博士生导师、副院长。已承担国家级课题30余项，企业合作项目20余项，获省部级科技奖2项、华为优秀科研项目奖2次。在国内外知名期刊和会议发表学术论文200余篇，H指数37；出版学术专著4部，授权发明专利80余项。研究兴趣包括网络虚拟化、下一代网络、云/边缘计算、分布式系统、网络安全等。李宗航，博士，电子科技大学英才实验学院导师，曾访学牛津大学和南洋理工大学。发表学术论文20篇；入选电子科技大学领军人才计划；获通信学会未来之光奖、牛津最具影响力项目奖和浦口经开英才奖等多项荣誉；主研国家级课题等8项，获未来网络领先创新科技成果奖。研究兴趣包括分布式人工智能、智算网一体化和联邦学习。孙罡，博士，电子科技大学教授，博士生导师。长期致力于网络虚拟化、云计算、物联网与分布式系统等领域的相关研究。在国内外各知名期刊发表SCI/EI检索论文100余篇，出版学术专著3部，已授权美国发明专利3项、中国发明专利70余项。罗龙，博士，电子科技大学副教授。长期从事网络算法、分布式系统等相关研究。在国内外知名期刊和会议上发表学术论文30篇；授权发明专利7项；入选第八届中国科协青年人才托举工程；主持/主研国家自然科学基金、国家重点研发计划等项目。
第1章 跨数据中心机器学习概述 1
1.1 分布式机器学习 5
1.1.1 基本概念 5
1.1.2 国内外发展现状 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信优化技术 32
1.2 跨数据中心分布式机器学习 39
1.2.1 产业发展背景及需求 39
1.2.2 基本架构 41
1.2.3 面临的关键挑战 43
1.3 本书的章节结构 46
本章参考文献 47
第2章 高效通信架构 58
2.1 分层参数服务器通信架构 59
2.1.1 架构设计方案 59
2.1.2 运行流程与通信模型 61
2.1.3 主要操作原语 64
2.2 部署模式与适用场景 65
2.3 实验与性能评估 67
2.4 本章小结 70
本章参考文献 70
第3章 同步优化算法 72
3.1 系统模型与基础同步优化算法 73
3.1.1 系统模型 73
3.1.2 全同步通信算法 73
3.1.3 实验与性能评估 76
3.2 面向受限域间通信资源的同步算法 78
3.2.1 研究现状 79
3.2.2 内同步累积的低频同步通信算法 80
3.2.3 实验与性能评估 83
3.3 面向异构计算与通信资源的同步算法 84
3.3.1 研究现状 85
3.3.2 延迟补偿的混合同步算法 88
3.3.3 迭代次数自适应的同步算法 91
3.3.4 实验与性能评估 109
3.4 本章小结 119
本章参考文献 120
第4章 压缩传输机制 123
4.1 稀疏化与量化基本概念 124
4.2 双向梯度稀疏化技术 127
4.2.1 梯度稀疏化技术 127
4.2.2 稀疏同步技术 128
4.2.3 冗余梯度修正技术 129
4.3 混合精度传输技术 132
4.4 实验与性能评估 133
4.5 本章小结 139
本章参考文献 139
第5章 梯度传输协议 142
5.1 研究动机 143
5.2 协议设计及其挑战 145
5.3 近似梯度分类算法 146
5.3.1 算法设计 146
5.3.2 分类阈值动态衰减技术 149
5.4 差异化梯度传输协议的设计 149
5.4.1 基于优先级的差异化传输 150
5.4.2 差异化接收方法 151
5.5 实现和部署 152
5.5.1 DGT通信中间件的功能实现 152
5.5.2 DGT通信中间件的跨数据中心部署 154
5.6 实验与性能评估 155
5.7 本章小结 165
本章参考文献 165
第6章 流量传送调度 168
6.1 基于动态通信调度的通信覆盖机制 170
6.1.1 研究动机 170
6.1.2 问题建模 173
6.1.3 通信覆盖机制设计 175
6.1.4 实现和部署 183
6.1.5 实验与性能评估 185
6.2 光广域网中的在线流量调度 192
6.2.1 研究动机 194
6.2.2 任务内调度 195
6.2.3 任务间调度 199
6.2.4 算法性能分析 203
6.2.5 仿真结果与分析 205
6.3 本章小结 211
本章参考文献 211
第7章 异构数据优化算法 214
7.1 研究现状 216
7.2 系统模型 220
7.3 联邦组同步算法设计与实现 221
7.3.1 算法设计动机 221
7.3.2 算法设计与实现 223
7.4 组节点选择算法设计与实现 226
7.4.1 问题建模与分析 226
7.4.2 算法设计与实现 228
7.5 算法的收敛性与效率分析 231
7.5.1 算法收敛性分析 232
7.5.2 算法效率分析 233
7.6 实验与性能评估 235
7.7 本章小结 245
本章参考文献 245
第8章 总结与展望 249
附录A 缩略语对照表 250
书单推荐
