-
Apache Spark 统一内存管理模型详解
本文将对 Spark 的内存管理模型进行分析，下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析，如对之前的静态内存管理感兴趣，请参阅网上其他文章。
-
宝鲲财经如何把握胜算较高的外汇交易机会
外汇市场是由一连串的交易日组成，完全不关联的两个相邻交易日并不常见。多数的情况是：上一个交易日的市场情绪延续到次日，直到遇到外力使它改变，然后新的市场情绪又影响到下一个交易日……如此循环往复，构成了涨跌互现的价格运动。其中，有一些特征明显的交易日，它明确地指示出目前市场的真实意图，把握好这些获胜几率较高的交易机会，对于赢利有很大的帮助。 正如交易大师詹姆斯.罗吉尔斯所说：“我只等着大把钞
-
大数据处理引擎Spark与Flink比拼
自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始，经过近 10 年的发展，基于 Hadoop 开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。
-
机器学习实践：如何将Spark与Python结合？
Apache Spark是处理和使用大数据最广泛的框架之一，Python是数据分析、机器学习等领域最广泛使用的编程语言之一。如果想要获得更棒的机器学习能力，为什么不将Spark和Python一起使用呢?
-
Nielsen如何在Amazon EKS上利用无服务器概念，通过Spark工作负载进行大数据处理
Nielsen Marketing Cloud 是一家领先的广告技术公司，在其某个管道中每天处理 25 TB 数据和 300 亿个事件。随着数据量的增长，高效扩展 Apache Spark 工作负载的挑战也随之增加。 Nielsen 的团队面临这样一种情况：当他们通过添加更多实例来扩展集群时，每个实例的性能反而下降。这种性能下降导致每个实例每小时完成的工作量减少，并推高了每 GB 数据处理成本。 此外，他们还偶尔遇到数据倾斜问题。数据倾斜是指数据在分区之间分布不均，会造成处理瓶颈并进一步降低集群效率。在极端情况下，这些因素叠加会导致集群故障。 在本文中，我们将跟随 Nielsen 的历程，了解他们如何构建稳健且可扩展的架构，同时实现线性扩展。
