-
大数据的系统学习：大数据学习的三个阶段概述
不同阶段的技术路线各有侧重，把握主要矛盾。在大数据应用实施过程中，由于技术和成本考虑，不可能短时间内解决所有问题，大数据应用本身有其规律和特点，比如分析目标一定是要跟数据规模匹配，分析技术的采用取决于数据结构和数据源条件，数据集成一定要覆盖比较全面的业务背景，关键环节数据不能有缺失等等。大数据学习可以根据应用目标分三个阶段： 1、大数据基础设施建设阶段： 这个阶段的重点是把大数据存起来，管
-
hadoop实战4--(hdfs读流程，hdfs写流程，副本放置策略)
本篇主要讲hdfs读流程，hdfs写流程，副本放置策略
-
cloudera 5 的安装测试步骤
Clouder Hadoop 集群安装步骤。 提示： 本来是写到 文档里的。 然后 就粘贴到这里， 结果好像是 屏幕截图， 无法自动上来。 我也懒得再搞图片上来了。就这样吧。 只要前面的几个步骤 系统设置。 处理好。 一般过程不会出问题的。&nb
-
数据科学太难？这些陷阱请避开，正能量很重要！
全文共2982字，预计学习时长6分钟很多人可能都会有这样的疑问：网上有这么多可用的资源，为什么保持学习数据科学的积极性这么难呢？无论你怎样学习数据科学，你总会遇到一些会扼杀积极性的挑战，碰上一些让你觉得自己很渺小而无能为力的工作，或者听到恶魔在你耳边低语，“这太难了，放弃吧。”但你不必独自面对这个难题。这篇文章将会提到一些打击学习积极性的陷阱。希望你在了解了这些陷阱之后，走向数据科学的职业道路会更
-
hadoop实战3(web管理界面介绍及NN，DN，SNN介绍)
hadoop实战2(web管理界面介绍及NN，DN，SNN介绍)
-
hadoop实战2-更改指定hostname启动hadoop,jps介绍，yarn部署，yarn上运行程序
更改指定hostname启动hadoop,jps介绍，yarn部署，yarn上运行程序
-
hadoop实战1--部署
大数据入门，部署。没人能比我详细，速度点关注。
-
记录2018年底最后1次HBase故障维护
生产hbase故障案例，Can't get the location，unable to find region for in ApplicationIndex after 35 tries.
-
python3.6 使用impala连接hive
thriftpy.transport.TTransportException: TTransportException(type=1, message="Could not start SASL: b'Error in sasl_client_start (-4) SASL(-4): no mechanism available: Unable to find a callbac
-
想学习大数据却搞不懂Hadoop？阿里云工程师带你三步解读Hadoop！
Google发表了两篇论文：描述如何以分布式方式存储海量数据的Google文件系统和描述如何处理大规模分布式数据的MapReduce：大型集群上的简化数据处理。受这两篇论文的启发，DougCutting实现了这两篇基于OSS（开源软件）的论文的原则，Hadoop诞生了。
-
2018年末最后一轮干货：数据工程师必备的学习资源（附链接）
在建立模型之前，在数据经过清洗用于探索分析之前，甚至在数据科学家工作开始之前，数据工程师就已经闪亮登场了。每一个数据驱动的业务都需要一个适用于数据科学管道的框架，否则就是失败的配置。
-
0基础学习大数据你需要了解的学习路线和方向
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？首先从字面来了解一下大数据 大数据 （巨量数据集合（IT行业术语）） 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出
-
hadoop项目开发案例举例
大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
-
2019版大数据学习路线图
随着大数据越来越火热，薪资越来越高，开始吸引着越来越多的人开始想要投身这个行业。其中有许多朋友的都是大数据零基础，以前并没有接触过大数据相关知识。零基础参加大数据培训难吗?这主要取决于你所学习大数据培训机构的硬性实力，如：大数据师资、大数据课程、大数据项目等等，下面带大家一起来看一下吧。今天为大家整理了部分大数据学习教程与大家共享，每个人可以根据自己的需要来选择，需要的小伙伴可以+下学习资料分享裙
-
实用贴:hadoop系统下载安装教程
本篇分享hadoop的安装步骤依然是也DKhadoop为例。DKhadoop的安装可以说真的是很简单。五月份的时候跟和大二、大三的几个学生聊hadoop的事情，他们吐槽点都集中在环境的搭建安装。一次性安装成功这种事情是不存在的，折腾到崩溃却是事实。我让他们去下载DKHadoop安装试一下，至于后来试没试就不得而知了。下面就切入正题，看完整个安装步骤你会发现hadoop安装原来也可以这么简单！
-
大数据处理关键技术主要有五种，具体指的是什么？
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。在这里还是要推荐下我自己建的大数据学习交流群:199427210，群里都是学大数据开发的，如果
-
超详细hadoop集群服务器安装配置教程
虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法，并且每一步的都配图了。如果有朋友还是看不懂，那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明，hadoop安装会在下一篇文章中详细的介绍。
-
大数据经典学习路线
Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务 架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。今天为大家整理了部分大数
-
保障IDC安全：分布式HIDS集群架构设计
近年来，互联网上安全事件频发，企业信息安全越来越受到重视，而IDC服务器安全又是纵深防御体系中的重要一环。保障IDC安全，常用的是基于主机型入侵检测系统Host-based Intrusion Detection System，即HIDS。在HIDS面对几十万台甚至上百万台规模的IDC环境时，系统架构该如何设计呢？复杂的服务器环境，网络环境，巨大的数据量给我们带来了哪些技术挑战呢？
-
Apache Ranger——Hadoop ACL控制工具
本文主要通过ranger在hdfs acl中的应用以及原理介绍一下ranger的使用，另外介绍一下实际使用过程中碰到的问题。目前公司内部大多通过数据工场来管理hdfs上的数据，工场开发团队和hdfs、yarn的SRE同学也配合紧密。由于涉及到管理数据，那么不得不说到权限控制的问题。
