ITPub博客

关于 “Spark” 的内容如下:

  • Spark SQL 与 Hive 的第一场会师

    Spark SQL 搭配 Hive , 香醇可口

    dblenis Spark 382 2018-11-03 11:31
  • CDH 5.13.0安装Spark 2.2

    CDH 5.13.0自定义安装Spark 2.2

    z597011036 Spark 358 2018-10-30 19:26
  • Spark 高难度对话 SQL Server - 续篇

    笑谈 Spark SQL 技术内幕

    dblenis Spark 370 2018-10-19 07:55
  • 大数据学习,大数据发展趋势和Spark介绍

    大数据学习,大数据发展趋势和Spark介绍 大数据是随着计算机技术、通信技术、互联网技术的发展而产生的一种现象。以前我们没有实现人和人之间的连接,产生的数据没有现在这么多;或者说没有把产生的数据记录下来;即使记录下来,我们也没有很好的工具对这些数据进行处理、分析和挖掘。而随着大数据技术的发展,我们开始逐渐地拥有这种能力,来发掘数据中的价值。大数据技术在2012年之前是以MapReduce

    华为云学院 Spark 349 2018-10-17 11:24
  • 如何处理Docker错误消息:please add——insecure-registry

    本地安装Kubernetes时,遇到如下的错误消息:pleade add --insecure-registry gcr.io to daemon's arguments解决方案:点击Docker的Preference菜单:点击Daemon标签页,在Insecure registries里维护记录:将错误信息里提到的gcr.io维护进Insecure registries, 点击按钮&qu

    i042416 Spark 353 2018-10-04 07:48
  • spark-on-yarn作业提交缓慢优化之spark jar包处理

    spark-on-yarn作业提交缓慢优化之spark jar包处理

    hz_ganwei Spark 364 2018-09-25 13:43
  • spark2.2.0 配置spark sql 操作hive

    spark可以通过读取hive的元数据来兼容hive,读取hive的表数据,然后在spark引擎中进行sql统计分析,从而,通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下: 1、启动hive的元数据服务hive可以通过服务的形式对外提供元数据读写操作,通过简单的配置即可  编辑 $HIVE_HOME/conf/hive-site.xml,增加如

    laoma8888 Spark 372 2018-09-23 12:48
  • 教程:Apache Spark SQL入门及实践指南!

    Apache SparkSQL是一个Spark模块,可以使用Python,Java和Scala中的DataFrame和DataSet抽象简化结构化数据处理,该过程让数据从企业移动到对应的列以形成分布式数据集合。它提供了一种很好的优化技术。 使用Spark SQL,我们可以从Spark程序内部通过标准数据库连接器(JDBC / ODBC)连接到Spark SQL外部工具查询数据。

    赵钰莹 Spark 1373 2018-09-12 17:47
  • 胡嘉伟 :实时计算在提升播放体验的应用实践

    提供正版、高清、流畅的视频播放服务始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户,从用户视角对爱奇艺播放时的播放故障、 卡顿等指标进行实时分析,以提供立体的、多维度的实时数据监控。

    赵钰莹 Spark 1378 2018-09-10 16:53
  • SparkSQL外部数据源

    外部数据源-External Data Source API

    13545163656 Spark 364 2018-09-06 20:52
  • Spark SQL在100TB上的自适应执行实践

    作者:汪愈舟   俞育才   郭晨钊   程浩(英特尔),李元健(百度)责编:钱曙光(qianshg@csdn.net) Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的接口来分布式处理结构化数据,在很多应用领域都有成功的生产实践,但是在超大规模集群和数据集上,Spark SQL仍然遇到不少易

    loveheping Spark 375 2018-09-03 22:54
  • DataFrame概述与使用

    DataFrame概述与使用

    13545163656 Spark 434 2018-09-03 20:39
  • SparkSQL部署与简单使用

    一、运行环境Ø  JDK:1.8.0_45 64位Ø  hadoop-2.6.0-cdh5.7.0Ø  Scala:2.11.8Ø  spark-2.3.1-bin-2.6.0-cdh5.7.0(需要自己编译)Ø  hive-1.1.0-cdh5.7.0二、SparkSQL运行准备#元数据存在MyS

    13545163656 Spark 384 2018-08-30 21:53
  • SparkSQL初识

    一、 Spark SQL介绍                Spark SQL是Apache Spark's的一个模块,用来处理结构化数据,1.0后产生;SQL语句主要体现在关系型数据库上,大数据中基于Hadoop的SQL有Hive

    13545163656 Spark 255 2018-08-30 18:51
  • Scala 类和对象

    1.scala中的类不声明为public,一个Scala源文件中可以有多个类。Scala 的类定义可以有参数,称为类参数,如上面的 xc, yc,类参数在整个类中都可以访问。2.继承Scala继承一个基类跟Java很相似, 但我们需要注意以下几点:1、重写一个非抽象方法必须使用override修饰符。2、只有主构造函数才可以往基类的构造函数里写参数。3、在子类中重写超类的抽象方法时,你不需要使用o

    laoma8888 Spark 343 2018-08-30 02:00
  • scala(四)集合

    List// 字符串列表 val site: List[String] = List("Runoob", "Google", "Baidu") // 整型列表val nums: List[Int] = List(1,

    laoma8888 Spark 296 2018-08-30 01:46
  • scala(三)函数

    1.Scala 中使用 val 语句可以定义函数,def 语句定义方法。class Test{   def m(x: Int) = x + 3   val f = (x: Int) => x + 3}

    laoma8888 Spark 296 2018-08-30 01:22
  • scala(二)-for循环

    1.for( var x <- Range ){    statement(s);}  Range 可以是一个数字区间表示 i to j ,或者 i until j。左箭头 <- 用于为变量&n

    laoma8888 Spark 301 2018-08-30 01:01
  • scala(一)

    1.Scala 程序是对象的集合,通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。类 - 类是对象的抽象,而对象是类的具体实例。方法 - 方法描述的基本的行为,一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合,即字段。对象的属性通过给字段赋值来创建。Scala 基本语法需要注意以下几点:区分大小写 -  Scala是大小写敏感的,这意味着标识Hello 和

    laoma8888 Spark 289 2018-08-30 00:42
  • Spark工作流程

    Spark架构组成图

    13545163656 Spark 505 2018-08-23 10:21
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
18603471036
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心