大数据的发展已经引领了对能够学习包含数百万至数十亿参数的复杂模型的机器学习系统的新需求，以保证足够的能力来消化海量的数据集，提供强大的预测分析（如高维潜特征、中介表示和决策功能）。为了在这样的尺度上，在成百上千台的分布式机器集群中运行机器学习算法，关键往往是要投入显著的工程性的努力——有人可能会问，这样的工程是否还属于机器学习的研究领域？考虑到如此“大”的机器学习系统可以极大地从根植于机器学习的统计和算法的理解中受益——因此，机器学习的研究人员应该不会回避这样的系统设计——我们讨论了一系列从我们近来对工程尺度的机器学习解决方案的研究中提炼的原则和策略。这些原则和策略从机器学习的应用连续跨越到它的工程和理论研究，以及大型机器学习的系统和架构的发展，目标是了解如何使其有效、广泛地适用，并以收敛和缩放保证支持。它们关注的是机器学习研究传统上注意较少的四个关键问题：一个机器学习程序怎样能分布到一个集群中去？机器学习计算怎样能通过机器间的交流连接起来？这样的交流是如何被执行的？机器间应该交流的内容是什么？通过揭示机器学习程序所独有的，而非常见于传统计算机程序中的基础性的统计和算法上的特点，并通过剖析成功案例，以揭示我们如何利用这些原则来同时设计和开发高性能的分布式机器学习软件以及通用的机器学习框架，我们为机器学习的研究人员和从业者提供了进一步塑造并扩大机器学习与系统之间的领域的机会。

机器学习已经成为从原始数据中提取结构化信息和知识，将其转变成为不同应用的自动预测和运用假说的首要机制。这些应用如分析社会网络 [1]、推理客户行为 [2]；转译文本、图像和视频 [3]；确定疾病和治疗方法 [4]；操纵无人驾驶汽车 [5]；跟踪网络安全异常活动 [6]，及其他。机器学习的大多数应用都是由一个中等数量的发达的机器学习方法族系支持，其中，每种方法都体现了从模型设计到对算法的创新，甚至对软件应用的完善这一连串的技术要点，并吸引了来自研究和发展团体的日益增长的创新贡献。这些方法现代的例子包括图形模型[7–9]、正则贝叶斯模型[10–12]、非参数贝叶斯模型[13,14]、稀疏结构模型[15,16]、大幅度方法[17,18]、深度学习[19,20]、矩阵分解[21,22]、稀疏编码[23,24]以及潜在空间建模[1,25]。一个能确保数学合理性和结果可重复性的机器学习的普遍做法，是从业者和研究人员为某种机器学习方式(比如，通过一个卷积神经网络的深度学习模型，提供图像的语义解释)的一个特定应用的实例编写一个机器学习程序(使用任何通用的高级编程语言)。理想的情况是，这个程序预计将依托于各种硬件和云基础设施——笔记本电脑、服务器、图形处理单元(GPU)、云计算和虚拟机、分布式网络存储、以太网和InfiniBand网络(仅举几例)，以得到快速、准确的执行。这样，程序就是硬件无关但机器学习明确的(即无论硬件如何选取，对于数据都遵循相同的数学原理，并获得相同的结果)。

随着感官、数字存储和网络通信技术的进步，传统机器学习的研究与发展——擅长模型、算法和理论的创新——正面临日益盛行的大数据收集的挑战，如每分钟上传到视频共享网站的数百小时视频 †，或社交媒体中上亿用户产生的几千万亿字节(PB)数据 ‡。大数据的兴起也伴随着对包括数百万至数十亿参数的更高维也更复杂的机器学习模型的兴趣的增加，以支持日益复杂的数据，或者为了获得更高的预测精度(比如为客户提供更好的服务和医疗诊断)，支持更智能的任务(比如无人驾驶车辆和视频数据的语义解释)[26,27]。对这样大规模的数据运作如此大型的机器学习模型是超出单一机器的存储和计算能力的。这一差距已经激发了近来越来越多对于分布式机器学习的工作，其中，机器学习程序由研究集群、数据中心和云提供商使用成千上万的机器加以执行。从得到数学上等价的或类似于由单一机器产生的解的意义上说，以机器集群(p个机器)代替一个机器，就可以通过分布式机器学习程序实现几乎p倍的加速；然而，报告过的加速往往还远低于这个限度。例如，即使近来使用最先进的技术对主题模型的实现 [28](文本分析的一种常用的方法)，由于在实现中的数学错误(如在文献 [25]所示)，也无法用4×机达到2×加速，而利用MapReduce-like系统进行的深度学习，如Spark，也尚未用10×机达到5×加速 [29]。因此解决这种可量测性挑战就是分布式机器学习研究的一个主要目标，以减少运行大型机器学习应用的资本和运营成本。