-
Spark写HBASE
package com.iesol.high_frequencyimport java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java...
-
MapReduce读写HBASE
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTokenizer;import java.util.Vector;import org.apache.hadoop.hbase.mapreduce.TableReducer;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.hbase.mapreduce.TableMapper;import ...
-
搭建Hadoop的Eclipse开发环境
经过一些列繁琐的配置后，hadoop集群终于可以跑起来了，wordcount例子也能正确运行，好了，我们可以进行Map-Reduce开发了。作为一个java程序员，最简单的做法是：把在eclipse中写好的mapreduce程序打成jar包，上传至hadoop集群上，然后启动mapreduce任务。可是我们不是大师，谁也不能保证自己写的代码一次就能正确，我们需...
-
hadoop分布式集群搭建
hadoop分布式集群搭建 （学习交流请加群：385215695）1.安装jdkroot 用户mkdir /usr/java/cp -r jdk-8u101-linux-x64.tar.gz /usr/javatar -zxvf jdk-8u101-linux-x64.tar.gzvi /etc/profile 末尾增加export JAVA_HOME=...
-
cdh5.3.10_hadoop环境迁移之主机IP修改
cdh5.3.10_hadoop环境迁移，主机迁移后hadoop集群调整。...
-
kafka学习笔记：知识点整理
一、为什么需要消息系统1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出...
-
hadoop入门笔记
1. 伪分布安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop注：此部分涉及到的Linux操作部分可以再下面的链接中找到，Linux初级操作2. 安装jdk用xftp把jdk安装包放到/root/Downloadstar xzvfjdk-7u67-linux-i586.tar.gz 解压缩vi/etc/profile 设...
-
Hadoop集群安装详细教程
一、安装环境 因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。 IP 主机名 操作系统 作用 192.168.121.201 ...
-
Hadoop 工具集的简单罗列 [整理]
Technorati 标签: HADOOP ORIGINALLY PUBLISHED JANUARY 2012 Apache Hadoop is an excellent framework for processing, storing and analyzing large volumes of unstructured data - aka Big Data. But getting a handle on all the project’s myriad components and sub-components, with names like Pig and Maho...
-
Spark Stream 简单例子
pom.xml<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2.1.0</version></dependency>import java.io.OutputStream;...
-
周会！
HDFShivekafka!!太难懂了 。 。另外 文档 也 好难看啊。
-
spark on yarn 的资源调度器设置.
最近一段时间 发现了一个问题. 就是即便在整个集群 不忙的时候, 也会某几个节点, 会被spark on yarn 的任务跑满. 而不是把任务均匀的分配到到多几个节点上. 百思不解. 于是开始各个方面的调查. 从spark 方面没有发现什么问题. 回过头来看yarn . 发现...
-
hadoop 日志级别的调制方法.
hadoop 的日志 是log4j 负责的. 但是看文档之后发现, log4j 的配置是会被覆盖掉的. 那么就要去哪里覆盖的. 找到了几个地方. hadoop-env.sh 里有关于日志级别的配置. 把info 级别改为WARN 级别. 然后hadoop-daemon.sh 里也...
-
HDFS read and write
import java.io.OutputStream;import java.net.URI;import java.net.URL;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;...
-
Spark master standalong
~/.bashrcexport JAVA_HOME=/usr/java/latest/export HADOOP_HOME=~/hadoopexport SPARK_HOME=~/sparkexport PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATHexport SPARK_MASTER_HOST=192.168.202.134export SPARK_LOCAL_IP=192.168.202.134spark/conf/spark-env....
-
Spark example
pom.xml点击(此处)折叠或打开...
-
Windows 10 安装Spark2.1
下载并解压 spark-2.1.0-bin-hadoop2.7 hadoop-2.7.3 scala-2.12.1下载winutils.exe。 这里https://github.com/sdravida/hadoop2.6_Win_x64.git复制winutils.exe 到hadoop-2.7.3\bin，并执行 winutils.exe chmod 777 D:\tmp\hive设置she'zhi环境变量H...
-
Hadoop技术在商业智能BI中的应用
Hadoop是个很流行的分布式计算解决方案，是Apache的一个开源项目名称，核心部分包括HDFS及MapReduce。其中，HDFS是分布式文件系统，MapReduce是分布式计算引擎。时至今日，Hadoop在技术上已经得到验证、认可甚至到了成熟期，同时也衍生出了一个庞大的生态圈，比较知名的包括HBase、Hive、Spark等。HBase是基于HDFS的分布式列式数据库，HIVE是一个基于HBase数据仓库系统。Impala为存储在HDFS和HBase中的数据提供了实时SQL查询功能，基于HIVE服务，并可共享HIVE的元数据。Spark是一个类似MapReduce的并行计算框架，也提供了类似的HIVE的Spark SQL查询接口，Hive是基于hadoop的数据分析工具。
-
从基础到分析，聊一聊企业报表平台的建设规划！
一个报表平台的项目开始，客户会常常希望我们能够以我们专业的角度，针对他们公司的实际情况，来规划一下他们的报表平台。这个我也是理解的，毕竟谁都不想最终实施完成的报表平台乱糟糟的，不成体系。自己也做过一些，但没有花时间对自己的方法进行整理。这里我介绍下自己的思路
-
CDH5 快速入门手册v1.0
0. 体系架构 CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件： 1. 管理监控集群主机。 2. 统一管理配置。 3. 管理维护Hado...
