-
Spark学习之路 Spark之RDD
目录一、RDD的概述1.1 什么是RDD？1.2 RDD的属性1.3 WordCount粗图解RDD二、RDD的创建方式2.1 通过读取文件生成的2.2 通过并行化的方式创建RDD2.3 其他方式三、RDD编程API3.1 Transformation3.2 Action3.3 Spark WordCount代码编写3.4 WordCount执行过程图四、RDD的宽依赖和窄依赖4.1 RDD依赖关
-
使用Scala开发Apache Kafka的TOP 20大最佳实践！
本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。
-
将数据按指定格式存入zookeeper
环境： scala版本：2.11.8 zookeeper版本：3.4.5-cdh5.7.0package com.ruozedata.zk import java.util.concurrent.TimeUnit import org.apache.curator.framework.CuratorFrameworkFactory i
-
zookeeper集群奇偶数节点问题
zookeeper集群单双节点数问题
-
大快发行版DKhadoop安装与配置常见问题及解决方法整理
DKHadoop用起来确实在易用性方面要更好！Dkhadoop版本的下载安装以及运行环境搭建等各个方面内容基本都已经分享过了，今天给大家就dkhadoop开发环境安装中常见的问题以及解决方法进行汇总整理，希望对一些朋友有帮助吧！
-
阿里云：一张图看懂DTS数据同步最新价格调整
一张图看懂DTS数据同步最新价格调整
-
大快搜索大数据基础管理平台功能深度解析
在上一篇的文章中已经明确说过DKM作为大快发行版DKhadoop的管理平台，它的四大功能分别是：管理功能，监控功能，诊断功能和集成功能。管理功能已经给大家列举了一些做了说明，今天就DKM平台的监控功能再给大家做细致的分享分析。
-
在Ubuntu 18.04.1上安装Hadoop集群
本文将介绍如何在基于Ubuntu的系统上安装多节点Hadoop 3.1.1集群，作者将在Ubuntu 18.04.1上安装一个包含HDFS的三节点Hadoop集群。
-
大快搜索企业大数据管理平台DKM功能解析
DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用，DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。通过DKM ，运维人员是可以提高集群的性能，提升服务质量，提高合规性并降低管理成本。
-
十大国内外知名大数据专家探讨：Hadoop是生是死？
2017年，Gartner发布的《2017年数据管理技术成熟度曲线》将Hadoop掀上舆论巅峰，报告极其明显的标识出Hadoop即将在到达生产成熟期之前进入淘汰席。Gartner预测，到2018年，70%的Hadoop部署无法实现节约成本和收入增长的目标。在今年年初，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。
-
大快DKH大数据基础数据平台的监控参数说明
DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。
-
HDFS系列之DataNode磁盘管理解析及实践！
在单一DataNode管理多个磁盘的情况下，执行普通写操作时的每个磁盘用量比较平均。但是，添加或者更换磁盘将会导致DataNode磁盘用量严重不均衡，传统的HDFS均衡器关注点是DataNode之间（inter-）而不是intra-，但是Hadoop 3.0及以上版本中，新的HDFS Intra-DataNode磁盘平衡器可以很好得解决上述问题。
-
hadoop中文版本下载选择与平台监控参数介绍
前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新的下载页面还不好用！有好些朋友留言说了大快搜索网站上无法下载。我已经将之前下载的这个版本上传到了网盘了，需要的DKhadoop安装包的朋友可以直接通过网盘下载！
-
hadoop支持lzo完整过程
简介部署创建lzo表导入数据索引LZO文件利用hive执行mr任务修改使用中hive表的输入输出格式安装lzop native library安装hadoop-lzo配置hadoop环境变量验证lzo（通过hive测试） 简介启用lzo启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzolzo并不是linux系统原生支
-
hadoop2.6.0-cdh5.7.0编译，支持snappy、bzip2本地压缩
一、软件包：snappy-1.1.3.tar.gz下载地址：wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz二、安装依赖包：yum -y install snappy libsnappy-dev yum -y install bzip2 libbz2-dev yum -y instal
-
Flume作业 nc|exec-memory-logger
Flume作业 nc|exec-memory-logger
-
Hadoop Yarn 的三种资源调度器详解
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以
-
Flume作业nc-memory-logger|HDFS
需求1：从指定的网络端口上采集日志到控制台输出和HDFS负载算法故障转移
-
Apache Flink 1.6.0 正式发布，涵盖多项重要更新
为期两个月开发的 Apache Flink 1.6.0 于昨天（2018-08-09）正式发布了。Flink 社区艰难地解决了 360 个 issues，到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本，1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱
-
手把手教你HDFS基础配置安装及命令使用！
HDFS是基于Java的文件系统，可在Hadoop生态系统中提供可扩展且可靠的数据存储。因此，我们需要了解基本的HDFS配置和命令才能正常使用它。在使用之前，我们首先讨论如何配置安装HDFS，Hadoop以及HDFS都运行在java环境中，因此我们都需要安装JDK：
