-
（转）大数据开发之Hive中UDTF函数
动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的大数据培训日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。真实情况下，一条日志是存在多个动作的. 和下面这条日志很类似:{ "common&q
-
大数据开发hadoop之yarn基础架构详解
yarn 概述Apache Yarn（Yet Another Resource Negotiator的缩写）是 hadoop 集群资源管理器系统，Yarn 从 hadoop 2 引入，最初是为了改善 MapReduce 的实现，但大数据培训是它具有通用性，同样执行其他分布式计算模式。在 MapReduce1 中，具有如下局限性： 扩展性差：jobtracker 兼顾资源管理和作业控制跟踪功能跟
-
大数据开发之数仓工具Hive(一)
Hive产生的背景Hive的产生是基于mr计算框架的，简单的说就是mr学习过于复杂，成本过高，所以hive的初心是对mr做一层包装，让大家能利于sql的优势来处理数据。直接使用MapReduce处理大数据，将面临以下问题：1：MapReduce 开发难度大，学习成本高(wordCount => Hello World)2：Hdfs文件没有字段名、没有数据类型，不方便进行数据的有效管理3：使用
-
消息队列的使用场景之RabbitMQ
自己原文公众号：https://mp.weixin.qq.com/s/gjZk3vXvrJIYghDjYDYzuw 安装Rabbitmq的步骤不详细说了。但是主要的要说说。第一步安装erlang，没有这个不行。而且这个erlang和rabbitmq的版本有对应关系。最重要一点网上很多帖子资料要去rabbitmq官网下载，会发现官网的那些页面都没有了。所以安装变成了一个问题。想当年谁在linux上安
-
消息队列的使用场景之kafka
自己原文公众号：https://mp.weixin.qq.com/s/21VyBQtwIlNORZmVjQvdhw kafka安装和使用其实比rabbitMQ要容易些，也舒服些。1、防火墙关闭2、java环境安装完毕3、3台主机名修改规划完毕每台机器mkdir -p /zookeeper/datatar -zxvf apache-zookeeper-3.7.0-bin.tar.gzmv
-
游戏行业前景
游戏行业前景
-
大数据开发之传输组件Sqoop的功能介绍
01 Sqoop介绍Sqoop是Apache开源的一款工具，主要是针对关系型数据库与Hadoop集群之间的数据传输。它可以将关系型数据库中的数据导入至Hadoop集群中(即：导入至Hdfs)。也大数据培训可以将Hadoop集群（HDFS）中数据导出至关系型数据库中。Sqoop就是一款ETL工具，它具有高效和大批量数据传输的特性。同时原生Sqoop都是采用指令形式提交和触发任务。小伙伴们是
-
大数据开发之Hadoop家族都有谁
Hadoop的整体架构Hadoop 是一个用于大数据的架构解决方案。经过多年的开发演进，Hadoop 已成为一个庞大的系统，大数据培训它的内部工作机制非常复杂，是一个结合了分布式理论与具体的工程开发的整体架构。关于 Hadoop 最朴素的原理，就是要使用大量的普通计算机处理大规模数据的存储和分析，而不是建造一台超级计算机。这里有两个问题需要解决： 计算机的故障问题。想象我们使用一个有一万台计算
-
大数据开发hadoop入门基础之sqoop
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将大数据培训一个关系型数据库（例如 ：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop是大数据开发入门必备掌握知识，今天给大家介绍下Sqoop一些常用的
-
大数据开发之Hive
Hive简介定义Facebook为了解决海量日志数据的分析而开发了hive，后来开源给了Apache基金会组织。 hive是一种用SQL语句来协助读写、管理存储在HDFS上的大数据集的数据仓库软件。hive特点▪ hive 最大的特点是通过类 SQL 来分析大数据，而避免了写 mapreduce Java 程序来分析数据，这样使得分析数据更容易。▪数据是存储在HDFS上的，hive本身并不提供数据
-
大数据开发之hive的了解及SQL基础命令分享
hive（数据仓库工具）Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提大数据培训供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统，它是难以加工大型数据。因此，Apache软件基金
-
大数据开发之YARN
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源YARN产生背景直接源于MRv1在几个方面的缺陷扩展性受限单点故障难以支持MR之外的计算多计算框架各自为战，数据共享困难MR：离线计算框架Storm：实时计算框架Spark：内存计算框架YARN设计目标通用的统一资源管理系统同时运行长应用程序和短应用程序长应用程序通常情况下，永不停止运【关注尚硅谷，轻松学IT】行的程序Serv
-
Hadoop 入门笔记—核心组件 YARN
Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 中的资源管理和作业调度系统， 在 Hadoop 2.x 时才被引入。
-
Hadoop 入门笔记—核心组件 HDFS
HDFS (Hadoop Distributed File System) 是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
-
Hadoop 入门笔记—核心组件 MapRuduce
MapReduce 是一个分布式运算程序的编程框架，通过它能将用户将编写好的程序提交，并发运行在一个 Hadoop 集群上。
-
软件开发的生命周期过程
亲自经历该过程，一般大公司都走正规流程，就是流程繁琐，各种大小会议！建议毕业生选择小公司提高能力再考虑大公司进行提升。 1.问题的定义及规划 此阶段是软件开发方与需求方共同讨论，主要确定软件的开发目标及其可行性。 2.需求分析 在确定软件开发可行的情况下，对软件需要实现的各个功能进行详细分析。需求分析阶段是一个很重要的阶段，这一阶段做得好，将为整
-
大数据学习—Azkaban的解析
大数据的核心模块有很多，像Hadoop、spark、kafka等都是比较重要的，但也不仅仅只是这三块。今天我们就来了解一下Azkaban，了解他的使用和简介，才能更好的帮助我们去学习大数据。
-
小白可以转行学习大数据吗？怎么做？
我们在做出一个决定之前总是会有这样那样的担忧和犹豫，特别是当自身厌倦了目前的工作和生活，思考未来的时候。“我要不要继续过这样的生活？”“我要不要待在舒适圈？”“我要不要转行？转行的话我没有经验，会不会不太好？”这其实就是我们做决定前的常态，特别是在如今高压的生活下。
-
大数据学习—Kafka的核心调优参数
随着大数据开发的发展，越来越多的人想要转行或者学习大数据开发这一块，工资和发展前景都让大家越来越看好。而kafka作为一个核心模块，是学习过程的一个要点知识，今天我们就一起来看一下关于Kafka的核心调优参数。
-
大数据学习—Spark核心概念RDD
在大数据当中，spark作为一个核心模块是很重要的，spark拥有速度更快、易用性的特点，而RDD作为spark的核心概念，就更应该重点学习，今天我们就来了解一下关于spark核心概念RDD的重要性。
