-
SPARK Uncaught exception in thread Thread
参考如下网址：http://bbs.csdn.net/topics/390941085$ ./spark-shell --master spark://qxy1:7077报如下错误：17/02/08 06:14:52 ERROR util.SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]java.util.concurrent.RejectedExecutionException: Ta...
-
国外、国内Hadoop的应用现状
国外、国内Hadoop的应用现状
-
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
1. 问题导读：Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.2. 问题解决：仔细查看报错是缺少Windows下解压的bin目录下。（即hadoop installation directory指定目录的...
-
Hive部署
1. 前提条件：已经部署好hadoop，zookeeper，hbase，mysql数据库。2. hive软件下载：http://archive.cloudera.com/cdh4/cdh/4/，版本是hive-0.10.0-cdh4.4.0.tar。cdh版本时cloudera公司提供的。3. 解压软件[hadoop@VM6 hadoop]$ tar -xvf hive-0.10.0-cdh4.4.0.tar.gz[hadoop@VM6 hadoop]$ ln -s hive-0.1...
-
大数据之MySQL基础（含Linux）
百度云链接:?? http://pan.baidu.com/s/1gfaBoSr???? 密码：7v9p
-
websit
spark开发指南https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/quick-start/using-spark-shell.html
-
Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系...
-
Hadoop-impala十大优化之（3）—impala表和列信息统计操作最佳实践
1.1 Hadoop-impala十大优化之（3）—impala表和列信息统计操作1.1.1 表和列的信息统计showtable stats parquet_snappy; computestats parquet_snappy; n 如果是hive的话，统计信息命令如下u ANALYZE TABLE COMPUTESTATISTICS FOR COLUMNS show tablestats parque...
-
Hadoop-impala十大优化之（2）—impala连接查询性能优化及最佳实践
1.1 Hadoop-impala十大优化之（2）—impala连接查询的性能优化 涉及连接操作的查询通常需要更多的调整，而不是仅指一个表的查询。从联接查询集合查询的结果集的最大大小是所有联接表中的行数的乘积。当加入数个表有数以百万计或数十亿的行，任何错过的机会过滤结果集，或其他低效的...
-
Impala 5.7性能优化系列-10大优化思路
1.1.1 Impala 5.7-10大优化思路Impala中，提供了10大类优化思路和方法1) 分区2) 连接查询性能考虑3) 表和列信息统计4) Impala性能测试：...
-
CDH5.8X运行TPC-DS-V2.3测试（impala）手记
1：环境准备 执行TPC-DS测试的用户在各个节点上都有，且在各个节点上的用户目录相同，有足够大小各个节点互信免密登录 点击(此处)折叠或打开#第一步：配置生成密钥（各个节...
-
java web开发 高并发处理
java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。 一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（主-从）方式进行同步复制，将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slaves方式，2个主Mysql，多个Slaves，需要注意的是，虽然有2个Mast
-
在hadoop集群上运行, Class * not found
转载：http://dongxicheng.org/mapreduce/run-hadoop-job-problems/1. 问题描述当用户编写完Hadoop程序时，准备运行时，经常会抛出以下异常：[15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_0003_m_000000_1, Status : FAILEDError: ...
-
Spark2 DataFrame 数据框空值查找和处理
Spark2 DataFrame 数据框空值查找和处理
-
Scala Parallel 并行
Scala Parallel 并行
-
Scala zip 拉链操作
Scala zip 拉链操作
-
Spark2-oneHot编码-标准化-主成分-聚类
Spark2-oneHot编码-标准化-主成分-聚类
-
Spark2 DataFrame数据框常用操作
Spark session available as 'spark'.Welcome to Spark version 2.0.1Using Scala version 2.11.8 import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.DataFrameimport org.apache.spark.rdd.RDDimport or...
-
Spark2 线性回归
Saprk2 ML 线性回归
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
