ITPub博客

WaterdropWaterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。Waterdrop尽所能为您解决可能遇到的问题：数据丢失与重复任务堆积与延迟吞吐量低应用到生产环境周期长缺少应用运行状态监控Waterdrop 使用场景海量数据ETL海量数据聚合多源数据处理Waterdrop 的特性简单易用，灵

一、schemaschema 参考链接：数据库对象的集合，一个用户唯一对应schema存放着这个对象的数据，相当于用户的文件夹二、tablespacetablespace 参考链接、参考链接1：用户=商家、表=商品、表空间=仓库一个商家能有很多商品，1个商品只能属于一个商家。一个商品可以放到仓库A，也可以放到仓库B，但不能同时放入A和B。仓库不属于任何商家。商家都有一个默认的仓

MapReduceMapReduce是为能够在集群上分布式处理海量数据而量身订做的框架，MapReduce job可以分为三次连续过程。Map 将输入数据划分为key-value集合Shuffle 将Map产生的结果传输给ReduceReduce 则对接收到的key-value进一步处理MapReduce的最大工作单元便是job，每个job又会被分割成map task或reduce task。最经

sparkStreaming简介spark Streaming和Storm区别Spark Streaming算子Spark checkpointingSpark和kafka整合SparkStreaming是一种流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐、容错的准实时数据处理，实时数据的来源可以事：Kafka、Flume、Twitter，zeroMQ或者TCP sockets；并且可

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以

1.启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoopdfs –ls [文件目录]2、打开某个已存在文件hadoop dfs –cat [file_path]3、将本地文件存储至hadoophadoop fs –put [本地地址] [h

区别：在删除table的时候，内部表删除Hadoop上的数据，外部表不删除数据$HIVE -e "use ${WIFI};                                      &

SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。让我们从创建St

Storm 是一个分布式的，可靠的，容错的数据流处理系统storm中服务器节点分为主节点和从节点,Nimbus为主节点和Supervisor为从节点。以及若干组件构成。下面为对一些术语进行简单的介绍: Nimbus：主节点，是一个调度中心，负责分发任务 Supervisor：从节点，任务执行的地方 Worker：任务工作进程，一个Supervisor中可以有多个Wor

Q：Spark和Hadoop的架构区别A：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个DAG。Spark:是通用的DAG框架，可以将多个有依赖关系的作业转换为一个大的DAG。核心思想是将M

    Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。storm 不处理静态数据,但它处理连续的流数据。1.Storm用于实时计算，Hadoop用于离线计算。2. Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。3.&

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。二、Kibana安装与配置root@server5 ~]

logstash常用于日志系统中做日志采集设备，最常用于ELK中作为日志收集器使用logstash的基本流程架构：input  |  filter  |  output 如需对数据进行额外处理，filter可省略。3.1 Input(输入）：采集各种样式，大小和相关来源数据，从各个服务器中收集数据。用于在将event通过output发出之前对其实现某些处理功

包含一个或多个具有相同 cluster.name 的节点.集群内节点协同工作，共享数据，并共同分担工作负荷。由于节点是从属集群的，集群会自我重组来均匀地分发数据. cluster Name是很重要的，因为每个节点只能是群集的一部分，当该节点被设置为相同的名称时，就会自动加入群集。集群中通过选举产生一个mater节点，它将负责管理集群范畴的变更，例如创建或删除索引，添加

一个Coordinator节点一个Discovery Server节点多个Worker节点Coordinator: 负责解析SQL语句，生成执行计划，分发执行任务给Worker节点执行Discovery Server: 通常内嵌于Coordinator节点中Worker节点: 负责实际执行查询任务,负责与HDFS交互读取数据Worker节点启动后向Discovery

　数据可以分为结构化数据和非结构化数据，比如说我们常用的sql语句就都是操作结构化数据，邮件等信息都是非结构化数据；　　　　对于结构化数据的查询可以使用sql语句进行查询，速度较快；　　　　对于非结构化数据的查询可以把非结构化数据变成结构化数据：先根据空格进行字符串拆分，得到一个基础的单词列表。需要去掉标点符号、转换大小写、去除停用词、重复的单词只记录一次，就得到了一个最终的单词列表。然后基于单词

-d —-使用一个驱动类：beeline -d driver_class -e —-使用一个查询语句：beeline -e “query_string” -f —-加载一个文件：beeline -f filepath 多个文件用-e file1 -e file2 -n —-加载一个用户名：beeline -n valid_user -p —-加载一个密码：beeline -p valid_

1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 sqoop的介绍 sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)： A. 将关系型数据库的数据导入到Hadoop 及其相关

hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。