-
DKHadoop安装的环境准备介绍
Hadoop运行环境配置的坑只有走过的人才懂，不过发现了一个比较有意思的国产hadoop发行版——大快的DKH发行版DKHadoop。DKHadoop将开源社区里多种常用组建包括：HDFS，Hbase，Storm，Flume，Kafka，Mahout，ES等都集成到了这一个平台里，所以整个运行环境的配置安装就大大被简化了。
-
Zookeeper简介与集群搭建
Zookeeper简介Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统，这些都是Zookeeper的应用场景。Zookeeper集群中节点个数一般为奇数个（>=3），若集群中Maste
-
如何进入大数据领域，学习路线是什么？
Hadoop大数据学习线路图入门知识 对于我们新手入门学习hadoop的朋友来说，首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的： 云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说
-
hadoop和spark的区别
学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看（发行版DKhadoop，去大快的网站上应该可以下载到的。）
-
夏军：小米大数据集成架构演化之路
小米有众多的智能终端和设备，数据规模非常大，对于数据采集和大数据集成提出了非常高的要求。此次演讲主要介绍小米大数据集成解决方案，主要包括小米数据流平台的架构演化，整个链路的数据质量监控，数据流生态的构建思路，最后会介绍典型的应用场景、未来的规划和思考。
-
hbase 故障的处理方案。 （转载文章）
出处： https://cloud.tencent.com/developer/article/1030070导语：近期腾讯云的一家大客户频繁出现HBase regionserver 挂掉，影响业务正常使用。通过调整堆栈大小、gc优化、超时时间等都无法解决该问题。经过细致并综合分析hbase regionserver、hbase master以及 zookeeper的日志，发现了问题所在：tick
-
Hadoop基础入门之发行版本的选择
所谓的零基础大体可以分为两种：第一种是hadoop初学者，有一定的Linux基础、虚拟机和Java基础；第二种是hadoop兴趣爱好者，但缺乏最基本的Linux基础、虚拟机和Java基础。如果是第一种，其实学习hadoop的难度就会相对较小；但如果是第二种，那么难度就会非常大了。
-
大数据应用开发如何入门需要知道这些
对于有多年“码农”经验的朋友来说，学习大数据开发必然已经有了一个比较好的入门基础了，但转身投入大数据开发怀抱的可不全是“身经百战”的码农，就比如我昨天的那三个朋友。对于像他们这样的新手大数据开发又该如何快速入门？
-
hadoop_查、杀任务，看错误日志
Yarn查任务、杀任务 mapred 命令
-
如何制定一份可实施的2019年大数据学习计划？
回头马上过去的2018，这一年，自己年初定的目标都实现了吗？曾经立下的Flag都还记得吗？是不是想要学习大数据分析，却连如何入门都没搞清；其实，要想做出改变并非难事，你缺少的只是一个计划（去做）。学习大数据分析更是如此，因为大数据是一门综合性的学科，复杂且具有一定系统性，所以大数据的学习更加需要有一个明确的目标和计划，然后按部就班的执行。那么如何才能制定出一份可行性强的大数据学习计划呢？我们可以从
-
李亚坤：Hadoop YARN在字节跳动的实践
字节跳动公司的今日头条、抖音短视频、火山小视频、西瓜视频等一系列产品，在最近几年内数据量一直呈现出爆炸性增长趋势，数据基础架构部门在离线计算、流式计算等多个方向上遭遇到了一系列前所未有的挑战。本次演讲主要介绍从0到4万+计算结点的YARN集群管理，以及在调度优化、流式作业支持等多个方面的经验分享。
-
新手如何入门大数据
首先你要有自己职业规划，知道数据分析和大数据是做什么的、能解决什么问题，给自己定一个小目标。一个有经验的数据科学家：最少要有2到3年工作经验，而工作经验体现在运用数据科学处理各种商业问题的能力上，同时需要具备以下技能：一流的分析技巧：探索凌乱的数据集并提取洞察的能力；在SQL运用能力方面是一名内行；能很好的掌握假设检验、分配、回归分析和贝叶斯方法；有与商业方面的机器学习经验；对于Python语言和
-
大数据技术学习路线
背景近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛，很多人都想要从事大数据技术开发工作，但是，请问要怎么做，路线是什么？从哪里开始学？学哪些？这是一个大问题。对于我自己来说，最近也在学一些大数据开发相关的技术，所以之前整理了一份《大数据技术学习路线》，希望对你有所帮助。学习规划推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据直播课程，专注大数
-
大数据学习路线
希望可以把这篇文章推广给所有想学习或者想从事数据科学方向的朋友，我作为偏统计方向的分析师也在这里说一下自己的一些学习方向和方法，希望对大家有帮助。推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，我认为从事Data Analytics或Data Science需要具备
-
谷歌云和AWS再开战：硝烟弥漫皆因一个数据盒子！
AWS在全球云计算市场占据40%的市场份额，并且其还有很多周边产品帮助用户快速将数据上云，AWS的数据快递盒子Snowball就是最好的示例。2015年，AWS最早推出Snowball时的时候，主要是用来快递数据的，将大量数据从客户自己的数据中心批量传输到AWS。下单之后，Snowball就被快递到了用户家门口，用户把它接入本地网络导入数据，然后把数据快递回AWS的云数据中心，然后大量数据就快速上云了。
-
程序员必看！2019年需求最高的TOP 10项技能！
对于希望充分利用数据的企业而言，数据人才的需求仍然很高，DevOps工程师、Python程序员、数据工程师和机器学习工程师已经成为企业的核心。本文，我们列出了IT专业人员在人才竞争中必须具备的十大关键技能。虽然需要大量的技能，但实际情况是IT环境经常发生变化，技术不断受到新技术、复杂问题或动态角色的挑战。虽然新技术和工具在人工智能和分析领域不断涌现，但开发人员必须对这些工具有广泛的了解。
-
基于DKHadoop的智慧人社服务平台开发案例简述
大数据技术的应用与发展正在让我们的生活经历一场深刻的“变革”，而且这种变革几乎让所有人都感觉非常舒服，自然而然的就完成了这样的一个变化。最根本的原因其实是大数据技术的应用真正帮助我们解决了问题。
-
大数据学习开发技术：MapReduce运行原理
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是“任务的分解与结果的汇总”。上图中的TaskTracker对应HDFS中的DataNode，在MapReduce1.x中，用于执行Map
-
你如何在未来的大数据和AI 领域，获得一份不错的工作？
对于雄心勃勃的数据科学家来说，他们如何在与数据科学相关的工作市场中脱颖而出？2019年会有足够多的数据科学相关工作吗？还是说有可能出现萎缩？接下来，让我们来分析一下数据科学的趋势，并一探如何在未来的大数据和机器学习 /AI 领域获得一份不错的工作。”1、你需要牢固掌握概率统计学，并学习和掌握一些算法，比如朴素贝叶斯、高斯混合模型、隐马尔可夫模型、混淆矩阵、ROC 曲线、P-Value
-
大数据平台开发公司有哪些？
大数据、区块链可以说近几年互联网非常火爆的风口了，发展真可谓是蓬勃向上。围绕大数据进行的行业变革、创新已经不仅仅是趋势，而是真实在进行中。大数据技术对各行业的重要性不言而喻，15年政府下发关于推进大数据技术发展的重要文件，紧接着又将大数据上升到了国家战略层面。所有这一系列重要举措，都证明了一件事情——当下，正是大数据的风口！
