-
编辑 删除
java.io.IOException: Connection reset by peer
一.场景: spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。二.代码:点击(此处)折叠或打开val zkUrl = "192.168.100.39,192.168.100.40,192.168.100.41:2181" val formatStr = "org.apache.phoenix.spark"val oms_order...
-
编辑 删除
基于CentOS6.4环境编译Spark-2.1.0源码
1 写在前面的话 有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能够满足我们的要求呢？答案肯定是...
-
编辑 删除
记录CDH Spark2的spark2-submit的一个No such file or directory问题
运行: 在测试的CDH Spark2, 运行spark streaming， 命令如下： 点击(此处)折叠或打开 spark2-submit \ --class com.telenav.dataplatform.demo.realtimecases.WeatherAlerts \--master yarn --deploy-mode cluster \/usr/local/sparkProject/realt...
-
编辑 删除
Spark常见问题解决办法
以下是在学习和使用spark过程中遇到的一些问题，记录下来。1、首先来说说spark任务运行完后查错最常用的一个命令，那就是把任务运行日志down下来。 程序存在错误，将日志down下来查看具体原因!down日志命令：yarn logs -applicationId app_id2、Spark性能优化的9大问题及其解决方案Spark程序优化所需要关注的...
-
编辑 删除
使用阿里云的Maven仓库加速Spark编译过程
前言在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。如果你的下载速度很快，你现在就可以无视这篇文章了。阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们拜托这种煎熬。地址信息阿里云的M...
-
编辑 删除
Spark Streaming函数的分析与理解
根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类TransformationsWindow OperationsJoin OperationsOutput Operations一、Transformations1、map(func) map操作需要传入一个函数当做参数，具体调用形式为val ...
-
编辑 删除
Spark2.0.0 Install And Examples
1.Scala 2.11.8 下载解压[root@sht-sgmhadoopnn-01 hadoop]# wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# tar xzvf scala-2.11.8.tgz[root@sht-sgmhadoopnn-01 hadoop]# mv scala-2.11.8 scala[root@sht-sgmhadoopnn-01 hadoop]# 2.将scala文件夹同步...
