ITPub博客

关于 “Spark” 的内容如下：

• Spark SQL 与 Hive 的第一场会师

  Spark SQL 搭配 Hive ， 香醇可口

  dblenis Spark 837 2018-11-03 11:31

• CDH 5.13.0安装Spark 2.2

  CDH 5.13.0自定义安装Spark 2.2

  z597011036 Spark 1904 2018-10-30 19:26

• Spark 高难度对话 SQL Server - 续篇

  笑谈 Spark SQL 技术内幕

  dblenis Spark 662 2018-10-19 07:55

• 大数据学习，大数据发展趋势和Spark介绍

  大数据学习，大数据发展趋势和Spark介绍 大数据是随着计算机技术、通信技术、互联网技术的发展而产生的一种现象。以前我们没有实现人和人之间的连接，产生的数据没有现在这么多；或者说没有把产生的数据记录下来；即使记录下来，我们也没有很好的工具对这些数据进行处理、分析和挖掘。而随着大数据技术的发展，我们开始逐渐地拥有这种能力，来发掘数据中的价值。大数据技术在2012年之前是以MapReduce

  华为云学院 Spark 678 2018-10-17 11:24

• 如何处理Docker错误消息：please add——insecure-registry

  本地安装Kubernetes时，遇到如下的错误消息：pleade add --insecure-registry gcr.io to daemon's arguments解决方案：点击Docker的Preference菜单：点击Daemon标签页，在Insecure registries里维护记录：将错误信息里提到的gcr.io维护进Insecure registries, 点击按钮&qu

  i042416 Spark 1242 2018-10-04 07:48

• spark-on-yarn作业提交缓慢优化之spark jar包处理

  spark-on-yarn作业提交缓慢优化之spark jar包处理

  hz_ganwei Spark 2597 2018-09-25 13:43

• spark2.2.0 配置spark sql 操作hive

  spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下： 1、启动hive的元数据服务hive可以通过服务的形式对外提供元数据读写操作，通过简单的配置即可  编辑 $HIVE_HOME/conf/hive-site.xml,增加如

  laoma8888 Spark 1564 2018-09-23 12:48

• 教程：Apache Spark SQL入门及实践指南！

  Apache SparkSQL是一个Spark模块，可以使用Python，Java和Scala中的DataFrame和DataSet抽象简化结构化数据处理，该过程让数据从企业移动到对应的列以形成分布式数据集合。它提供了一种很好的优化技术。 使用Spark SQL，我们可以从Spark程序内部通过标准数据库连接器（JDBC / ODBC）连接到Spark SQL外部工具查询数据。

  赵钰莹 Spark 3109 2018-09-12 17:47

• 胡嘉伟 ：实时计算在提升播放体验的应用实践

  提供正版、高清、流畅的视频播放服务始终是爱奇艺所追求的目标, 除了播放体系本身的建设之外, 爱奇艺也立足于用户，从用户视角对爱奇艺播放时的播放故障、 卡顿等指标进行实时分析，以提供立体的、多维度的实时数据监控。

  赵钰莹 Spark 1857 2018-09-10 16:53

• SparkSQL外部数据源

  外部数据源-External Data Source API

  13545163656 Spark 1285 2018-09-06 20:52

• Spark SQL在100TB上的自适应执行实践

  作者：汪愈舟   俞育才   郭晨钊   程浩（英特尔），李元健（百度）责编：钱曙光（qianshg@csdn.net） Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易

  loveheping Spark 1485 2018-09-03 22:54

• DataFrame概述与使用

  DataFrame概述与使用

  13545163656 Spark 2640 2018-09-03 20:39

• SparkSQL部署与简单使用

  一、运行环境Ø  JDK：1.8.0_45 64位Ø  hadoop-2.6.0-cdh5.7.0Ø  Scala：2.11.8Ø  spark-2.3.1-bin-2.6.0-cdh5.7.0（需要自己编译）Ø  hive-1.1.0-cdh5.7.0二、SparkSQL运行准备#元数据存在MyS

  13545163656 Spark 2678 2018-08-30 21:53

• SparkSQL初识

  一、 Spark SQL介绍                Spark SQL是Apache Spark's的一个模块,用来处理结构化数据，1.0后产生；SQL语句主要体现在关系型数据库上，大数据中基于Hadoop的SQL有Hive

  13545163656 Spark 525 2018-08-30 18:51

• Scala 类和对象

  1.scala中的类不声明为public，一个Scala源文件中可以有多个类。Scala 的类定义可以有参数，称为类参数，如上面的 xc, yc，类参数在整个类中都可以访问。2.继承Scala继承一个基类跟Java很相似, 但我们需要注意以下几点：1、重写一个非抽象方法必须使用override修饰符。2、只有主构造函数才可以往基类的构造函数里写参数。3、在子类中重写超类的抽象方法时，你不需要使用o

  laoma8888 Spark 828 2018-08-30 02:00

• scala(四）集合

  List// 字符串列表 val site: List[String] = List("Runoob", "Google", "Baidu") // 整型列表val nums: List[Int] = List(1,

  laoma8888 Spark 555 2018-08-30 01:46

• scala(三)函数

  1.Scala 中使用 val 语句可以定义函数，def 语句定义方法。class Test{   def m(x: Int) = x + 3   val f = (x: Int) => x + 3}

  laoma8888 Spark 661 2018-08-30 01:22

• scala（二）-for循环

  1.for( var x <- Range ){    statement(s);}  Range 可以是一个数字区间表示 i to j ，或者 i until j。左箭头 <- 用于为变量&n

  laoma8888 Spark 800 2018-08-30 01:01

• scala（一）

  1.Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。类 - 类是对象的抽象，而对象是类的具体实例。方法 - 方法描述的基本的行为，一个类可以包含多个方法。字段 - 每个对象都有它唯一的实例变量集合，即字段。对象的属性通过给字段赋值来创建。Scala 基本语法需要注意以下几点：区分大小写 -  Scala是大小写敏感的，这意味着标识Hello 和

  laoma8888 Spark 567 2018-08-30 00:42

• Spark工作流程

  Spark架构组成图

  13545163656 Spark 1269 2018-08-23 10:21