-
好程序员大数据学习路线分享Hadoop机架感知
好程序员大数据学习路线分享Hadoop机架感知，1.背景：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽
-
奈学教育：Hadoop源码编译全流程分享
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt
-
HBase知识点集中总结
HBase知识点集中总结，HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hado
-
大数据之Apache-Hadoop简介
Hadoop出现的原因：现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下面这
-
大数据概述
大数据时代的悄然来临，让信息技术的发展发生了巨大变化，并深刻影响着社会生产和人民生活的方方面面。每个国家都高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业和教育机构也纷纷加大技术，资金和人员投入力度，以期在“第三次信息化浪潮”中占得先机，引领市场。 1、三次信息化浪潮 第一次信息化浪潮 1980年前后，个人计算机的普及，使得计算机走入企业和家庭，大大提高了
-
好程序员大数据培训分享之Hadoop的生态系统
好程序员大数据培训分享之Hadoop的生态系统，这次，我整理了一下hadoop的生态系统。hadoop生态系统，意思就是以hadoop为平台的各种应用框架，相互兼容，组成了一个独立的应用体系，也可以称之为生态圈。通过以下的图：hadoop生态系统我们可以可以总结如下常用的应用框架（图中没有的，我也列出了几个）：1，HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他
-
好程序员大数据培训分享MySQL数据库存储引擎简介
好程序员大数据培训分享《MySQL数据库》存储引擎简介，1、简介MySQL中的数据用各种不同的技术存储在文件(或者内存)中。每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。 通过选择不同的技术，你能够获得额外的速度或者功能，从而改善你的应用的整体功能。例如，如果你在研究大量的临时数据，你也许只需要将数据存储在内存中而不是文件中(内存存储引擎能够在内存中存
-
好程序员大数据培训分享之《MySQL数据库》常用函数整理
好程序员大数据培训分享之《MySQL数据库》常用函数整理，以下内容，是我整理出来的比较常用的字符串函数，数值函数，日期函数。第一类：字符串函数1、conv(n,from_base,to_base):对from_base进制的数n,转成to_base进制的表示方式（PS:进制范围为2-36进制,当to_base是负数时,n作为有符号数否则作无符号数）mysql> select
-
大数据教程之《MYSQL数据库》TCL语言和DCL语言
好程序员大数据培训分享之《MYSQL数据库》TCL语言和DCL语言：一、TCL语言的操作语法，有时候我们的一个需求(一个任务),可能会涉及到多个DML(增删改)操作。那么这一系列操作， 我们要看成一个整体，不可切割。如在一个员工系统中，某员工A的数据可能会存在多个表中，如基本信息表,业务信息表，邮箱信息表等。当我们想删除此人的所有信息时，除了删除这个人的基本信息外，还应该删除与此人有关的其他所
-
好程序员大数据培训分享之MySQL数据库SQL简介
好程序员大数据培训分享之MySQL数据库SQL简介、语法格式：一、SQL的简介，结构化查询语言(Structured Query Language)，简称SQL。它是专门用来访问数据库的标准编程语言。它可以用于存储数据，查询数据，更新数据以及管理关系型数据库等操作。同时，数据库脚本文件的扩展名也是sql。 SQL是高级的非过程化编程语言，允许用户在高层数据结构上工作。同时，SQL语句可以嵌套
-
好程序员大数据培训分享MySQL数据库约束条件和自增长序列
好程序员大数据培训分享MySQL数据库约束条件和自增长序列，一、约束（constraint） 约束就是在表上强制执行的一种校验规则，当执行DML操作时，数据必须符合这些规则，如果不符合，将无法执行。 约束的全称：约束条件，也称之为完整性约束条件。可以保证表中数据的完整性，保证数据之间的商业逻辑。约束条件包括：1）非空约束 （not null）,简称NN2）唯一性约束（unique）,简称U
-
好程序员大数据培训分享之hive常见自定义函数
好程序员大数据培训分享之hive常见自定义函数先来讲一下hive自定义函数1.1 为什么需要自定义函数hive的内置函数满足不了所有的业务需求。hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。1.2 常见自定义函数有哪些00001. UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。00002.&n
-
好程序员大数据培训分享之hive存储过程
好程序员大数据培训分享之hive存储过程，1、hive存储过程简介1.x版本的hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedural SQL on hadoop），并且在未来的
-
好程序员大数据培训分享之Ambari和ClouderaManager对比
好程序员大数据培训分享之Ambari和ClouderaManager对比，1 、什么是CDH，Ambari？ Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Am
-
大牛都会用的IDEA调试技巧！！！
① 以Debug模式启动服务，左边的一个按钮则是以Run模式启动。在开发中，我一般会直接启动Debug模式，方便随时调试代码。 ② 断点：在左边行号栏单击左键，或者快捷键Ctrl+F8 打上/取消断点，断点行的颜色可自己去设置。 ③ Debug窗口：访问请求到达第一个断点后，会自动激活Debug窗口。如果没有自动激活，可以去设置里设置。④ 调试按钮：一共有8个按钮，调试的主要功能就对应着这几个按钮
-
大数据面试宝典五
好程序员大数据培训分享大数据面试宝典五：1、一个“.java”源文件中是否可以包含多个类（不是内部类）？有什么限制？【基础】 答：可以；必须只有一个类名与文件名相同。 1、 说出一些常用的类，包，接口，请各举5 个。【基础】 答：常用的类：BufferedReader BufferedWriter FileReader FileWirter Stri
-
好程序员大数据培训分享大数据面试宝典四
好程序员大数据培训分享大数据面试宝典四，31、abstract 的method 是否可同时是static,是否可同时是native，是否可同时是synchronized? 【基础】 答：都不能。 32、静态变量和实例变量的区别？【基础】 答：静态变量也称为类变量，归全类共有，它不依赖于某个对象，可通过类名直接访问；而实例变量必须依存于某一实例，只能通过对象才能访问到它。 33、是否可以
-
好程序员大数据培训分享大数据面试宝典三
好程序员大数据培训分享大数据面试宝典三1、当一个对象被当作参数传递到一个方法后，此方法可改变这个对象的属性，并可返回变化后的结果，那么这里到底是值传递还是引用传递? 【基础】 答：是值传递。Java 编程语言只有值传递参数。当一个对象实例作为一个参数被传递到方法中时，参数的值就是对该对象的引用。对象的内容可以在被调用的方法中改变，但对象的引用是永远不会改变的。 2、String 和Stri
-
好程序员大数据培训分享大数据面试宝典二
好程序员大数据培训分享大数据面试宝典二，1、heap 和stack 有什么区别？【基础】 答：栈是一种线形集合，其添加和删除元素的操作应在同一段完成，栈按照后进先出的方式进行处理；堆是栈的一个组成元素。 2、Math.round(11.5) 等于多少? Math.round(-11.5)等于多少? 【基础】 答：Math.round(11.5)==12 Math.round(-11.5)
-
好程序员大数据培训分享大数据面试宝典一
好程序员大数据培训分享大数据面试宝典一第一部分：Java语言基础 1、面向对象的特征有哪些方面? 1)抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题，而只是选择其中的一部分，暂时不用部分细节。抽象包括两个方面，一是过程抽象,二是数据抽象。 2)继承：继承是一种联结类的层次模型，并且允许和鼓励类的重用，它提供了一种明确表
