机读格式显示(MARC)
- 000 01238nam0 2200265 450
- 010 __ |a 978-7-121-45814-9 |d CNY139.00
- 100 __ |a 20230712d2023 em y0chiy50 ea
- 200 1_ |a 分布式机器学习 |A fen bu shi ji qi xue xi |e 系统、工程与实战 |f 柳浩著
- 210 __ |a 北京 |c 电子工业出版社 |d 2023
- 215 __ |a xiv, 575页, [16] 页图版 |c 图 (部分彩图) |d 26cm
- 330 __ |a 本书共分为5篇,第1篇是分布式基础,首先介绍了分布式机器学习的概念、基础设施,以及机器学习并行化技术、框架和软件系统,然后对集合通信和参数服务器PS-Lite进行了介绍。第2篇是数据并行,以PyTorch和Horovod为主对数据并行进行分析。第3篇是流水线并行,还通过引入额外的流水线来提高效率,以GPipe/PyTorch/PipeDream为例进行分析。第4篇是模型并行,首先对NVIDIAMegatron进行分析,讲解如何进行层内模型并行,然后讲解PyTorch如何支持模型并行,最后介绍分布式优化器。第5篇是TensorFlow分布式。
- 510 1_ |a Distributed machine learning |z eng
- 606 0_ |a 分布式算法 |A fen bu shi suan fa |x 机器学习
- 701 _0 |a 柳浩 |A liu hao |4 著
- 801 _0 |a CN |b WFKJXY |c 20240715
- 905 __ |a WFKJXY |d TP181/370