分布式机器学习：算法、理论与实践 / 智能科学与技术丛书
定价：￥89.00
作者： 刘铁岩，陈薇，王太峰等
出版时间：2018-10
出版社：机械工业出版社
- 机械工业出版社
- 9787111609186
- 11版
- 227183
- 47229778-7
- 平装
- 16开
- 2018-10
- 388
- 277
- TP181
- 计算机通信类
- 本科
内容简介
本书旨在全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并且讨论该领域未来的发展方向。
全书共12章。第1章是绪论，向大家展示分布式机器学习这个领域的全景。第2章介绍机器学习的基础知识。第3章到第8章是本书的核心部分，向大家细致地讲解分布式机器学习的框架及其各个功能模块。其中第3章给出整个分布式机器学习框架的综述，而第4章到第8章则分别针对其中的数据与模型划分模块、单机优化模块、通信模块、数据与模型聚合模块加以介绍。接下来的三章是对前面内容的总结与升华。其中第9章介绍由分布式机器学习框架中不同选项所组合出来的各式各样的分布式机器学习算法，第10章讨论这些算法的理论性质，第11章则介绍几个主流的分布式机器学习系统（包括Spark MLlib 迭代式MapReduce系统，Multiverso参数服务器系统，TensorFlow数据流系统）。*后的第12章是全书的结语，在对全书内容进行简要总结之后，着重讨论分布式机器学习这个领域未来的发展方向。
本书基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验写成，既可以作为研究生从事分布式机器学习方向研究的参考文献，也可以作为人工智能从业者进行算法选择和系统设计的工具书。
人工智能大潮中，市场上已有许多机器学习书籍，但是分布式机器学习的专门书籍还很少见。本书是希望学习和了解分布式机器学习的读者的福音。
目录
序言一序言二前 言作者介绍第1章 绪论/ 11.1 人工智能及其飞速发展/ 21.2 大规模、分布式机器学习/ 41.3 本书的安排/ 6参考文献/ 7第2章 机器学习基础/ 92.1 机器学习的基本概念/ 102.2 机器学习的基本流程/ 132.3 常用的损失函数/ 162.3.1 Hinge损失函数/ 162.3.2 指数损失函数/ 162.3.3 交叉熵损失函数/ 172.4 常用的机器学习模型/ 182.4.1 线性模型/ 182.4.2 核方法与支持向量机/ 182.4.3 决策树与Boosting/ 212.4.4 神经网络/ 232.5 常用的优化方法/ 322.6 机器学习理论/ 332.6.1 机器学习算法的泛化误差/ 342.6.2 泛化误差的分解/ 342.6.3 基于容度的估计误差的上界/ 352.7 总结/ 36参考文献/ 36第3章 分布式机器学习框架/ 413.1 大数据与大模型的挑战/ 423.2 分布式机器学习的基本流程/ 443.3 数据与模型划分模块/ 463.4 单机优化模块/ 483.5 通信模块/ 483.5.1 通信的内容/ 483.5.2 通信的拓扑结构/ 493.5.3 通信的步调/ 513.5.4 通信的频率/ 523.6 数据与模型聚合模块/ 533.7 分布式机器学习理论/ 543.8 分布式机器学习系统/ 553.9 总结/ 56参考文献/ 57第4章 单机优化之确定性算法/ 614.1 基本概述/ 624.1.1 机器学习的优化框架/ 624.1.2 优化算法的分类和发展历史/ 654.2 一阶确定性算法/ 674.2.1 梯度下降法/ 674.2.2 投影次梯度下降法/ 694.2.3 近端梯度下降法/ 704.2.4 Frank-Wolfe算法/ 714.2.5 Nesterov加速法/ 724.2.6 坐标下降法/ 754.3 二阶确定性算法/ 754.3.1 牛顿法/ 764.3.2 拟牛顿法/ 774.4 对偶方法/ 784.5 总结/ 81参考文献/ 8第5章 单机优化之随机算法/ 855.1 基本随机优化算法/ 865.1.1 随机梯度下降法/ 865.1.2 随机坐标下降法/ 885.1.3 随机拟牛顿法/ 915.1.4 随机对偶坐标上升法/ 935.1.5 小结/ 955.2 随机优化算法的改进/ 965.2.1 方差缩减方法/ 965.2.2 算法组合方法/ 1005.3 非凸随机优化算法/ 1015.3.1 Ada系列算法/ 1025.3.2 非凸理论分析/ 1045.3.3 逃离鞍点问题/ 1065.3.4 等级优化算法/ 1075.4 总结/ 109参考文献/ 109第6章 数据与模型并行/ 1136.1 基本概述/ 1146.2 计算并行模式/ 1176.3 数据并行模式/ 1196.3.1 数据样本划分/ 1206.3.2 数据维度划分/ 1236.4 模型并行模式/ 1236.4.1 线性模型/ 1236.4.2 神经网络/ 1276.5 总结/ 133参考文献/ 133第7章 通信机制/ 1357.1 基本概述/ 1367.2 通信的内容/ 1377.2.1 参数或参数的更新/ 1377.2.2 计算的中间结果/ 1377.2.3 讨论/ 1387.3 通信的拓扑结构/ 1397.3.1 基于迭代式MapReduce/AllReduce的通信拓扑/ 1407.3.2 基于参数服务器的通信拓扑/ 1427.3.3 基于数据流的通信拓扑/ 1437.3.4 讨论/ 1457.4 通信的步调/ 1457.4.1 同步通信/ 1467.4.2 异步通信/ 1477.4.3 同步和异步的平衡/ 1487.4.4 讨论/ 1507.5 通信的频率/ 1507.5.1 时域滤波/ 1507.5.2 空域滤波/ 1537.5.3 讨论/ 1557.6 总结/ 156参考文献/ 156第8章 数据与模型聚合/ 1598.1 基本概述/ 1608.2 基于模型加和的聚合方法/ 1608.2.1 基于全部模型加和的聚合/ 1608.2.2 基于部分模型加和的聚合/ 1628.3 基于模型集成的聚合方法/ 1678.3.1 基于输出加和的聚合/ 1688.3.2 基于投票的聚合/ 1718.4 总结/ 174参考文献/ 174第9章 分布式机器学习算法/ 1779.1 基本概述/ 1789.2 同步算法/ 1799.2.1 同步SGD方法/ 1799.2.2 模型平均方法及其改进/ 1829.2.3 ADMM算法/ 1839.2.4 弹性平均SGD算法/ 1859.2.5 讨论/ 1869.3 异步算法/ 1879.3.1 异步SGD/ 1879.3.2 Hogwild!算法/ 1899.3.3 Cyclades算法/ 1909.3.4 带延迟处理的异步算法/ 1929.3.5 异步方法的进一步加速/ 1999.3.6 讨论/ 1999.4 同步和异步的对比与融合/ 1999.4.1 同步和异步算法的实验对比/ 1999.4.2 同步和异步的融合/ 2019.5 模型并行算法/ 2039.5.1 DistBelief/ 2039.5.2 AlexNet/ 2049.6 总结/ 205参考文献/ 205第10章 分布式机器学习理论/ 20910.1 基本概述/ 21010.2 收敛性分析/ 21010.2.1 优化目标和算法/ 21110.2.2 数据和模型并行/ 21310.2.3 同步和异步/ 21510.3 加速比分析/ 21710.3.1 从收敛速率到加速比/ 21810.3.2 通信量的下界/ 21910.4 泛化分析/ 22110.4.1 优化的局限性/ 22210.4.2 具有更好泛化能力的非凸优化算法/ 22410.5 总结/ 226参考文献/ 226第11章 分布式机器学习系统/ 22911.1 基本概述/ 23011.2 基于IMR的分布式机器学习系统/ 23111.2.1 IMR和Spark/ 23111.2.2 Spark MLlib/ 23411.3 基于参数服务器的分布式机器学习系统/ 23611.3.1 参数服务器/ 23611.3.2 Multiverso参数服务器/ 23711.4 基于数据流的分布式机器学习系统/ 24111.4.1 数据流/ 24111.4.2 TensorFlow数据流系统/ 24311.5 实战比较/ 24811.6 总结/ 252参考文献/ 252第12章 结语/ 25512.1 全书总结/ 25612.2 未来展望/ 257索引/ 260
