ITPub博客

关于 “Spark” 的内容如下:

  • 教程:Apache Spark SQL入门及实践指南!

    Apache SparkSQL是一个Spark模块,可以使用Python,Java和Scala中的DataFrame和DataSet抽象简化结构化数据处理,该过程让数据从企业移动到对应的列以形成分布式数据集合。它提供了一种很好的优化技术。 使用Spark SQL,我们可以从Spark程序内部通过标准数据库连接器(JDBC / ODBC)连接到Spark SQL外部工具查询数据。

    赵钰莹 Spark 1216 2018-09-12 17:47
  • 胡嘉伟 :实时计算在提升播放体验的应用实践

    提供正版、高清、流畅的视频播放服务始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户,从用户视角对爱奇艺播放时的播放故障、 卡顿等指标进行实时分析,以提供立体的、多维度的实时数据监控。

    赵钰莹 Spark 1348 2018-09-10 16:53
  • SparkSQL外部数据源

    外部数据源-External Data Source API

    13545163656 Spark 324 2018-09-06 20:52
  • Spark SQL在100TB上的自适应执行实践

    作者:汪愈舟   俞育才   郭晨钊   程浩(英特尔),李元健(百度)责编:钱曙光(qianshg@csdn.net) Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的接口来分布式处理结构化数据,在很多应用领域都有成功的生产实践,但是在超大规模集群和数据集上,Spark SQL仍然遇到不少易

    loveheping Spark 342 2018-09-03 22:54
  • DataFrame概述与使用

    DataFrame概述与使用

    13545163656 Spark 375 2018-09-03 20:39
  • SparkSQL部署与简单使用

    一、运行环境Ø  JDK:1.8.0_45 64位Ø  hadoop-2.6.0-cdh5.7.0Ø  Scala:2.11.8Ø  spark-2.3.1-bin-2.6.0-cdh5.7.0(需要自己编译)Ø  hive-1.1.0-cdh5.7.0二、SparkSQL运行准备#元数据存在MyS

    13545163656 Spark 348 2018-08-30 21:53
  • SparkSQL初识

    一、 Spark SQL介绍                Spark SQL是Apache Spark's的一个模块,用来处理结构化数据,1.0后产生;SQL语句主要体现在关系型数据库上,大数据中基于Hadoop的SQL有Hive

    13545163656 Spark 249 2018-08-30 18:51
  • Scala 类和对象

    1.scala中的类不声明为public,一个Scala源文件中可以有多个类。Scala 的类定义可以有参数,称为类参数,如上面的 xc, yc,类参数在整个类中都可以访问。2.继承Scala继承一个基类跟Java很相似, 但我们需要注意以下几点:1、重写一个非抽象方法必须使用override修饰符。2、只有主构造函数才可以往基类的构造函数里写参数。3、在子类中重写超类的抽象方法时,你不需要使用o

    laoma8888 Spark 329 2018-08-30 02:00
  • scala(四)集合

    List// 字符串列表 val site: List[String] = List("Runoob", "Google", "Baidu") // 整型列表val nums: List[Int] = List(1,

    laoma8888 Spark 290 2018-08-30 01:46
  • scala(三)函数

    1.Scala 中使用 val 语句可以定义函数,def 语句定义方法。class Test{   def m(x: Int) = x + 3   val f = (x: Int) => x + 3}

    laoma8888 Spark 290 2018-08-30 01:22
  • scala(二)-for循环

    1.for( var x <- Range ){    statement(s);}  Range 可以是一个数字区间表示 i to j ,或者 i until j。左箭头 <- 用于为变量&n

    laoma8888 Spark 291 2018-08-30 01:01
  • scala(一)

    1.Scala 程序是对象的集合,通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。类 - 类是对象的抽象,而对象是类的具体实例。方法 - 方法描述的基本的行为,一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合,即字段。对象的属性通过给字段赋值来创建。Scala 基本语法需要注意以下几点:区分大小写 -  Scala是大小写敏感的,这意味着标识Hello 和

    laoma8888 Spark 284 2018-08-30 00:42
  • Spark工作流程

    Spark架构组成图

    13545163656 Spark 444 2018-08-23 10:21
  • Apache Spark 统一内存管理模型详解

    本文将对 Spark 的内存管理模型进行分析,下面的分析全部是基于 Apache Spark 2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析,如对之前的静态内存管理感兴趣,请参阅网上其他文章。

    HitTwice Spark 1206 2018-08-15 17:06
  • 宝鲲财经如何把握胜算较高的外汇交易机会

    外汇市场是由一连串的交易日组成,完全不关联的两个相邻交易日并不常见。多数的情况是:上一个交易日的市场情绪延续到次日,直到遇到外力使它改变,然后新的市场情绪又影响到下一个交易日……如此循环往复,构成了涨跌互现的价格运动。其中,有一些特征明显的交易日,它明确地指示出目前市场的真实意图,把握好这些获胜几率较高的交易机会,对于赢利有很大的帮助。 正如交易大师詹姆斯.罗吉尔斯所说:“我只等着大把钞

    宝鲲财经 Spark 339 2018-08-06 15:11
  • 大数据处理引擎Spark与Flink比拼

    自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始,经过近 10 年的发展,基于 Hadoop 开源生态或者其它相应系统的海量数据处理已经成为业界的基本需求。

    陶然陶然 Spark 1214 2018-08-01 14:20
  • 机器学习实践:如何将Spark与Python结合?

     Apache Spark是处理和使用大数据最广泛的框架之一,Python是数据分析、机器学习等领域最广泛使用的编程语言之一。如果想要获得更棒的机器学习能力,为什么不将Spark和Python一起使用呢?

    赵钰莹 Spark 3059 2018-06-21 11:02
没有更多了

成为大咖

联系我们
itpub
help@itpub.net
18603471036
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心