序言一序言二前　言作者介绍第1章　绪论/ 11.1　人工智能及其飞速发展/ 21.2　大规模、分布式机器学习/ 41.3　本书的安排/ 6参考文献/ 7第2章　机器学习基础/ 92.1　机器学习的基本概念/ 102.2　机器学习的基本流程/ 132.3　常用的损失函数/ 162.3.1　Hinge损失函数/ 162.3.2　指数损失函数/ 162.3.3　交叉熵损失函数/ 172.4　常用的机器学习模型/ 182.4.1　线性模型/ 182.4.2　核方法与支持向量机/ 182.4.3　决策树与Boosting/ 212.4.4　神经网络/ 232.5　常用的优化方法/ 322.6　机器学习理论/ 332.6.1　机器学习算法的泛化误差/ 342.6.2　泛化误差的分解/ 342.6.3　基于容度的估计误差的上界/ 352.7　总结/ 36参考文献/ 36第3章　分布式机器学习框架/ 413.1　大数据与大模型的挑战/ 423.2　分布式机器学习的基本流程/ 443.3　数据与模型划分模块/ 463.4　单机优化模块/ 483.5　通信模块/ 483.5.1　通信的内容/ 483.5.2　通信的拓扑结构/ 493.5.3　通信的步调/ 513.5.4　通信的频率/ 523.6　数据与模型聚合模块/ 533.7　分布式机器学习理论/ 543.8　分布式机器学习系统/ 553.9　总结/ 56参考文献/ 57第4章　单机优化之确定性算法/ 614.1　基本概述/ 624.1.1　机器学习的优化框架/ 624.1.2　优化算法的分类和发展历史/ 654.2　一阶确定性算法/ 674.2.1　梯度下降法/ 674.2.2　投影次梯度下降法/ 694.2.3　近端梯度下降法/ 704.2.4　Frank-Wolfe算法/ 714.2.5　Nesterov加速法/ 724.2.6　坐标下降法/ 754.3　二阶确定性算法/ 754.3.1　牛顿法/ 764.3.2　拟牛顿法/ 774.4　对偶方法/ 784.5　总结/ 81参考文献/ 8第5章　单机优化之随机算法/ 855.1　基本随机优化算法/ 865.1.1　随机梯度下降法/ 865.1.2　随机坐标下降法/ 885.1.3　随机拟牛顿法/ 915.1.4　随机对偶坐标上升法/ 935.1.5　小结/ 955.2　随机优化算法的改进/ 965.2.1　方差缩减方法/ 965.2.2　算法组合方法/ 1005.3　非凸随机优化算法/ 1015.3.1　Ada系列算法/ 1025.3.2　非凸理论分析/ 1045.3.3　逃离鞍点问题/ 1065.3.4　等级优化算法/ 1075.4　总结/ 109参考文献/ 109第6章　数据与模型并行/ 1136.1　基本概述/ 1146.2　计算并行模式/ 1176.3　数据并行模式/ 1196.3.1　数据样本划分/ 1206.3.2　数据维度划分/ 1236.4　模型并行模式/ 1236.4.1　线性模型/ 1236.4.2　神经网络/ 1276.5　总结/ 133参考文献/ 133第7章　通信机制/ 1357.1　基本概述/ 1367.2　通信的内容/ 1377.2.1　参数或参数的更新/ 1377.2.2　计算的中间结果/ 1377.2.3　讨论/ 1387.3　通信的拓扑结构/ 1397.3.1　基于迭代式MapReduce/AllReduce的通信拓扑/ 1407.3.2　基于参数服务器的通信拓扑/ 1427.3.3　基于数据流的通信拓扑/ 1437.3.4　讨论/ 1457.4　通信的步调/ 1457.4.1　同步通信/ 1467.4.2　异步通信/ 1477.4.3　同步和异步的平衡/ 1487.4.4　讨论/ 1507.5　通信的频率/ 1507.5.1　时域滤波/ 1507.5.2　空域滤波/ 1537.5.3　讨论/ 1557.6　总结/ 156参考文献/ 156第8章　数据与模型聚合/ 1598.1　基本概述/ 1608.2　基于模型加和的聚合方法/ 1608.2.1　基于全部模型加和的聚合/ 1608.2.2　基于部分模型加和的聚合/ 1628.3　基于模型集成的聚合方法/ 1678.3.1　基于输出加和的聚合/ 1688.3.2　基于投票的聚合/ 1718.4　总结/ 174参考文献/ 174第9章　分布式机器学习算法/ 1779.1　基本概述/ 1789.2　同步算法/ 1799.2.1　同步SGD方法/ 1799.2.2　模型平均方法及其改进/ 1829.2.3　ADMM算法/ 1839.2.4　弹性平均SGD算法/ 1859.2.5　讨论/ 1869.3　异步算法/ 1879.3.1　异步SGD/ 1879.3.2　Hogwild!算法/ 1899.3.3　Cyclades算法/ 1909.3.4　带延迟处理的异步算法/ 1929.3.5　异步方法的进一步加速/ 1999.3.6　讨论/ 1999.4　同步和异步的对比与融合/ 1999.4.1　同步和异步算法的实验对比/ 1999.4.2　同步和异步的融合/ 2019.5　模型并行算法/ 2039.5.1　DistBelief/ 2039.5.2　AlexNet/ 2049.6　总结/ 205参考文献/ 205第10章　分布式机器学习理论/ 20910.1　基本概述/ 21010.2　收敛性分析/ 21010.2.1　优化目标和算法/ 21110.2.2　数据和模型并行/ 21310.2.3　同步和异步/ 21510.3　加速比分析/ 21710.3.1　从收敛速率到加速比/ 21810.3.2　通信量的下界/ 21910.4　泛化分析/ 22110.4.1　优化的局限性/ 22210.4.2　具有更好泛化能力的非凸优化算法/ 22410.5　总结/ 226参考文献/ 226第11章　分布式机器学习系统/ 22911.1　基本概述/ 23011.2　基于IMR的分布式机器学习系统/ 23111.2.1　IMR和Spark/ 23111.2.2　Spark MLlib/ 23411.3　基于参数服务器的分布式机器学习系统/ 23611.3.1　参数服务器/ 23611.3.2　Multiverso参数服务器/ 23711.4　基于数据流的分布式机器学习系统/ 24111.4.1　数据流/ 24111.4.2　TensorFlow数据流系统/ 24311.5　实战比较/ 24811.6　总结/ 252参考文献/ 252第12章　结语/ 25512.1　全书总结/ 25612.2　未来展望/ 257索引/ 260