-
【Hive】matadata梳理
【Hive】matadata梳理
-
别再嘴炮概念了！大数据是硬汉之战，你的肌肉呢？
华盛顿大学奥林商学院做过一个调查，10年内，世界五百强企业榜单中，40%将会消失。
-
别再嘴炮概念了！大数据是硬汉之战，你的肌肉呢？
华盛顿大学奥林商学院做过一个调查，10年内，世界五百强企业榜单中，40%将会消失。
-
Hue3.9 搭建集成【HDFS】【Hive】
Hue3.9 搭建集成【HDFS】【Hive】
-
详解：Hadoop生态组件Yarn之长期运行服务支持篇！
众所周知，Yarn是大数据核心调度组件，其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中，不少专家都对Yarn这一核心组件的生命力表达了自己的看法。
-
下一代分布式消息队列Apache Pulsar从入门到实现
Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。
-
用Scala将指定格式的数据写入到文件
新建FileOps对象：package com.ruozedata.day3import java.io.{File,PrintWriter}import java.text.SimpleDateFormatimport java.util.{Calendar, Date}//import scala.io.Sourceobject FileOps { def main(args: A
-
使用Scala实现worldcount功能
新建ScalaWorldCount对象：package com.ruozedata.day4object ScalaWorldCount { def main(args: Array[String]): Unit = { val lines = List("hello ruoze hello jepson","hello ruoz
-
Java API操作Hive
环境: IDEA2017.3+Maven-3.3.9+Hive1.1.01. pom.xml里面的依赖包配置<properties> <hive.version>1.1.0</hive.version></properties><dependencies> <!-- 添加Hive-jd
-
干货：如何通过Federation将Hadoop存储容量提升4倍？
在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等，为了解决这些问题，Hadoop 2.0引入了基于共享存储的HA解决方案和HDFS Federation，HDFS Federation是指HDFS集群可同时存在多个NameNode，这些NameNode分别管理一部分数据，且共享所有DataNode的存储资源。
-
2018年最新Hadoop大数据开发学习路线图
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。 作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。 作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。
-
基于Hadoop生态系统的一种高性能数据存储格式CarbonData（性能篇）
CarbonData在数据查询的性能表现比Parquet好很多，在写一次读多次的场景下非常适合使用；社区比较活跃，响应也很及时。目前官网发布版本1.3.0与最新的spark稳定版Spark2.2.1集成，增加了支持标准的Hive分区，支持流数据准实时入库等新特性，相信会有越来越多的项目会使用到。?
-
YARN的Memory和CPU调优配置详解
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。内存配置YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存...
-
sqoop条件抽取报错distcp
sqoop hadoop-distcp
-
Hive 自定义函数（UDF）二 将自定义函数注册到hive源码中,并重新编译hive
hive版本： hive-1.1.0-cdh5.7.01 编写UDF函数 1.1 用户idea+maven创建项目，pom.xml文件的配置如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http...
-
HBase高性能随机查询之道 – HFile原理解析
?在各色数据库系统百花齐放的今天，能让大家铭记的，往往是一个数据库所能带给大家的差异化能力。正如梁宁老师的产品思维课程中所讲到的，这是一个数据库系统所能带给产品使用者的"确定性"。
-
Linux常用命令补充
1.找命令或者shell脚本[root@hadoop000 ~]# which java/usr/bin/java[root@hadoop000 ~]# locate java2.vi命令行模式：shift +$ 行尾尾行模式: :/内容 n向下 N向上 行号 :set nu 显示行号&...
-
Hive 自定义函数（UDF）一 创建临时函数和永久函数
1 先创建函数类文件 1.1 使用IDEA创建maven项目，创建HelloUDF类 1.2 运行HelloUDF类，测试是否成功 1.3 将HelloUDF类打成jar包。2 创建函数 2.1 创建临时函数 &nbs...
-
【Hadoop】pyhton链接hive
使用最好的模块pip install saslpip install thriftpip install thrift-saslpip install PyHive[root@ip-172-31-40-242 ~]# more testpyhive.py from pyhive import hiveconn = hive.Connection(host='xxxxxxx', port=10000, database='col...
-
【Hadoop】Hive将txt、csv等文本文件导入hive表
原文地址：https://blog.csdn.net/A632189007/article/details/76077648
