-
大数据培训：SQL 面试题及答案分享
一、行列转换描述：表中记录了各年份各部门的平均绩效考核成绩。表名：t1表结构：a -- 年份b -- 部门c -- 绩效得分表内容：a b c2014 B 92015 A 82014 A 102015 B 7 问题一：多行转多列问题描述：将上述表内容转为如下输出结果所示：a col_A col_B2014 10 92015 8 7参考答案：selecta,max(case w
-
大数据开发之运维面试题汇总分享
Q1：集群线上扩容如何达到自动化？线上扩容，规模正常都是以 10+以上，如果都以课堂所示，人肉操作，时间投入与产出比不匹配，人力造成很大的不必要浪费，想学习老师线上集群实际扩容的方案。A:课堂所示兼顾了小白同学，所以是手把手纯人肉搭建，产线环境扩容数量少则几十多则上百，人肉肯定不行，我们公司的运维分为 IAAS 运维、大数据运维、应用运维，大数据运维工程师在扩容集群时，需要向 IAAS 运维工程师
-
IDC是什么，什么又是IDC机房
随着互联网的普及与发展，数据是互联网不可缺少的一部分，很多人对于这一块还不了解。IDC机房就是互联网数据中心，是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。
-
大数据开发之Flink sql 的基础用法
Flink sql 是什么sql 的诞生就是为了简化我们对数据开发,可以使用少量的 sql 代码,帮助我完成对数据的查询,分析等功能声明式 & 易于理解对于用户只需要表达我想要什么,具体处理逻辑交给框架,系统处理,用户无需关心,对于一些非专业的开发人员有了解 sql,并且 sql 相对我们学习 java,c 等语言更简单,大数据培训学习成本更低,如果跨团队,或者非大数据开发人员,也可以通过
-
Hadoop系列之HDFS 数据块
HDFS数据块要把大文件存储在 HDFS上，HDFS 会把大文件分割成小块，即我们通常说的数据块（ block ），它是 Hadoop 分布式文件系统最小的存储单元，而且我们没办法决定指定块的存储节点地址，这些 Namenode 会替我们决定。数据块默认大小是 128MB，比操作系统里面的块概念要大很多（操作系统块大小是 4KB ），我们可以根据实际需求修改 HDFS 块大小。
-
大数据开发之Flink SQL建设实时数仓实践
个推Flink SQL使用现状在SQL模式下，个推通过jar+SQL文件+配置参数的方式使用Flink。其中jar是基于Flink封装的执行SQL文件的执行jar，提交命令示例如下：/opt/flink/bin/flink run -m yarn-cluster -ynm KafkaSourceHbaseSinkCaseTestSql \
-
Flink,Spark,Storm,Hadoop框架比较
引言大数据分析作为一种用于分析大量按需数据的工具，越来越受到人们的欢迎。四个最常见的大数据处理框架包括Apache Hadoop，Apache Spark，Apache Storm和Apache Flink。虽然这四个都支持大数据处理，但是这些框架的用法和支持该用法的基础体系结构不同。大数据培训许多研究已经投入了时间和精力来通过评估已定义的关键绩效指标（KPI）来比较这些大数据框架。本文通过确定一
-
大数据开发之Hadoop高频面试题
Hadoophadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。1. 请说下HDFS读写流程这个问题虽然见过无数次，面试官问过无数次，还是有不少面试者不能完整的说出来，所以请务必记住。并且很多问题都是从HDFS读写流程中引申出来的。 HDFS写流程： Client客户端发送上传请求，通过RPC与Name
-
大数据开发之离线分析工具Hive
Hive是Facebook为了解决海量日志数据的分析而开发的，后来开源给了Apache软件基金会，可见Apache软件基金会是个神奇的组织，大数据培训我们之前学过的很多开源工具都有Apache软件基金会的身影。官网定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large
-
【教程】手把手教你如何搭建Hadoop单机伪集群
作者：幻好 来源：恒生LIGHT云社区 概述本文将通过虚拟机搭建单机伪集群的Hadoop服务，帮助更好的学习和理解Hadoop大数据平台的运行原理。具体到每个细节，方便新手学习和理解。 环境准备 Linux centos 7（虚拟机）JDK1.8Hadoop 2.5+ JDK系统环境配置首先检查系统是否安装JDK，如果安装，确保系统安装JDK版本在1.8+且不是OpenJDK
-
大数据开发之Hive表数据同步至HBase
1. 背景当我们需要从 Hive 或其他异构存储中往 HBase 里导入大批量数据的时候，走 HBase 原生 API 这种方式一定不是最合适的方案，一是数据同步的效率会比较低，大数据培训其次是数据的持续写入会导致集群频繁进行 flush，compaction 等操作，占用较多的系统资源，影响线上服务的正常读写，因此，为了应对海量数据导入的场景，bulkload 应运而生。2. bulkload
-
一文带你了解HDFS技术
Hadoop Distributed File System，即Hadoop分布式文件系统）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬
-
大数据开发之Hive调优技巧
1.多次INSERT单次扫描表默认情况下，Hive会执行多次表扫描。因此，如果要在某张hive表中执行多个操作，建议使用一次扫描并使用该扫描来执行多个操作。比如将一张表的数据多次查询出来装载到另外一张表中。如下面的示例，表my_table是一个分区表，分区字段为dt，如大数据培训果需要在表中查询2个特定的分区日期数据，并将记录装载到2个不同的表中。INSERT INTO tem
-
Apache Oozie学习笔记(一)
作者：あおざき 来源：恒生LIGHT云社区 1.Oozie概述Oozie 是一个用来管理 Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL（Hadoop
-
大数据培训：hadoop中shuffle过程面试题
Shuffle阶段是指从Map的输出开始，包括系统执行排序以及传送Map输出到Reduce作为输入的过程。Sort阶段是指对Map端输出的Key进行排序的过程。大数据培训不同的Map可能输出相同的Key，相同的Key必须发送到同一个Reduce端处理。Shuffle阶段可以分为Map端的Shuffle和Reduce端的Shuffle。 一、Map端的shuffle Map端会处理输入
-
大数据开发之Hive SQL的优化分享
hive的优化主要分为：配置优化、SQL语句优化、任务优化等方案。其中在开发过程中主要涉及到的可能是SQL优化这块。优化的核心思想是： 减少数据量（例如分区、列剪裁）； 避免数据倾斜（例如加参数、Key打散）； 避免全表扫描（例如on添加加上分区等）； 减少job数（例如相同的on条件的join放在一起作为一个任务）。 HQL语句优化1、使用分区剪裁、列剪裁在分区剪裁中，
-
大数据开发之Hive如何提高查询效率
今天分享一下Hive如何提升查询效率。Hive作为最大数据培训常用的数仓计算引擎，是我们必备的技能，但是很多人只是会写Hql，并不会优化，也不知道如何提升查询效率，今天分享8条军规：1、开启FetchTask一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能，就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask
-
大数据开发Hive之如何进行数据抽样
在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，大数据培训因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：1. 数据块抽样（tablesample()函数）1） tablesample(n percent) 根
-
大数据开发之Hive SQL内置函数
前言Hive内部提供了很多函数给开发者使用，包括数学函数，集合函数，大数据培训类型转换函数，日期函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 Hive的内置函数一、数学函数1、 取整函数: round语法: round(double a)返回值: BIGINT说明:返回double类型的整数值部分（遵循四舍五入）举例：hive> sel
-
大数据开发之Hbase面试题
1. Hbase是怎么写数据的？Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile
