ITPub博客

本篇文章中分析Lambda三层结构模型的适用场景，同时暴露出Lambda架构一个最明显的问题：它需要维护两套分别跑在批处理和实时计算系统上面的代码，而且这两套代码需要产出一致的结果。

作者：汪愈舟   俞育才   郭晨钊   程浩（英特尔），李元健（百度）责编：钱曙光（qianshg@csdn.net） Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易

导读：整体架构数据采集数据存储与分析数据共享数据应用实时计算任务调度与监控元数据管理总结一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途：整合公司所有业务数据，建立统一的数据中心；提供各种报表，有给高层的，有给各个业务的；为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cell真正删除了，因而这就引起了一个问题，如何实现读的问题？要解决这个问题，我们先来分析一下相同的Cell可能存在的位置：首先对新写入的Cell，它会存在于MemS

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采用Master/Sl

YCSB一、背景概念英文全称：Yahoo！CloudServing Benchmark（YCSB）。是Yahoo公司的一个用来对云服务进行基础测试的工具。目标是促进新一代云数据服务系统的性能比较。为四个广泛使用的系统：Cassandra、HBase、PNUTS和一个简单的片式MySQL执行，订了套核心基础测试和结果报告。 二、资源获取首先在官网上下载源码编译或者直接下载软件包https:

转载自：https://mp.weixin.qq.com/s/3AAy2LIQPxWivfFVrk4iew背景Datastream一直以来在使用HBase分流日志，每天的数据量很大，日均大概在80亿条，10TB的数据。对于像Datastream这种数据量巨大、对写入要求非常高，并且没有复杂查询需求的日志系统来说，选用HBase作为其数据存储平台，无疑是一个非常不错的选择。HBase是一个相对较复杂

转自：https://blog.csdn.net/hxiao1317098/article/details/73623690对于大数据来说，数仓的作用不言而喻，承载着整个公司全业务线的数据，现阶段，在hadoop上的数仓主要是用来解决企业内部数据的分析，尤其是各种各样的统计分析报表。本文主要结合自己公司目前数仓的结构设计和现阶段解决的问题而叙述和分享，如有不明，错误之处，各位看官可指出，非常感谢！

一、编写目地  最近研究Flume组件中关于复用数据，多路复用可以根据设定的信息，进一步分流。通过对flume组件的了解，除使用拦截器外，还可以对源码修改或自定义源。本次测试使用的是对源码修改。使用虚拟搭建flume + kafka环境，编写功能简单的多路复用，主要是用flume的exec收集数据源，放入到logger、hdfs、kafka...

Flume与Kafka整合--扇入、扇出功能整合，其中扇出包括：复制流、复用流一、概念1、Flume：Cloudera 开发的分布式日志收集系统，是一种分布式，可靠且可用的服务，用于高效地收集，汇总和移动大量日志数据。 它具有基于流式数据流的简单而灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大...

spark中配置支持lzo压缩方法，步骤如下：一、spark-env.sh配置点击(此处)折叠或打开export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/app/hadoop-2.6.0-cdh5.7.0/lib/nativeexport SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/app/hadoop-2.6.0-cdh5.7.0/lib/nativeexport...

    配置Hadoop中启用LZO压缩，并完成测试。步骤如下：一、配置hadoop的hadoop-evn.sh文件，增加如下内容：点击(此处)折叠或打开export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib二、配置core-site.xml文件，增加如下内容：点击(此处)折叠或打开...

一、准备工作：yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool二、安装LZO1、解压编译，并安装cd /opt/softwarewget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gztar -zxvf lzo-2.09.tar.gzcd lzo-2.09./configure -enable-shared -prefix=/usr/loc...

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。我们需要根据不同的业务场景以及数据情况，对Spark作业进行综合性的分析，然后进行多个方面的调节和优化，才能获得最佳性能。笔者根据之前的Spark作业开发经验以及实践积累，总结出

hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩

   啥也不说，直接上程序吧，嘻嘻。。。。。。。。一、公共类点击(此处)折叠或打开package com.ruozedata.scalawroksimport java.io.{FileSystem => _, _}import org.apache.hadoop.fs._import scala.collection.mutable.ListBuffer...

一、创建启动HADOOP+YARN脚本1、创建脚本vi start-hadoop.sh 点击(此处)折叠或打开#!/bin/bash#start zookeeperssh hadoop001 'cd ~/; source .bash_profile;' cd /app/zookeeper-3.4.6/bin \; ./zkServer.sh start/bin/sleep 5...

一、自定义UDAF函数点击(此处)折叠或打开package hive.org.ruozedata;import java.util.*;import org.apache.hadoop.hive.ql.exec.UDAF;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.log4j.Lo...

一、创建配置文件【1、创建table_env文件，增加如下内容】执行命令：vi table_env内容：点击(此处)折叠或打开city_info=default.city_infoproduct_info=default.product_infouser_click=default.tmp_user_click退出保存(:wq)注：等号前为RDBMS表，...

一、删除Job点击(此处)折叠或打开sqoop job \--delete testjob二、创建Job说明：在创建Job时，我们使用--password-file参数，而且非--passowrd。主要原因是在执行Job时使用--password参数将有警告，并且需要输入密码才能执行Job。当我们采用--password-file参数时，...