ITPub博客

　　好程序员Java学习路线分享JS中的面向对象，在JS中，一般情况下我们都是直接写函数，直接调用，但是发现JS中也有new关键字，那么new关键字作为创建对象的关键字，给我们的感觉就是在JS中可以定义一个类，然后用new创建对象，那么在JS中如何做呢？我们先看如下案例，下面的案例是写一个简单的喷泉效果的。window.onload = function(){// 创建一个画布对象 v

好程序员Java分享SpringMVC之@ResponseBody注解，本章我们学习到SpringMVC的服务器端如何提供数据查询服务，这里需要使用两个重要的注解：@ResponseBody和@RestController。@ResponseBody注解     在前面使用SpringMVC时，Controller中的方法返回值会通过视图处理器Vi

好程序员大数据学习路线分享分布式文件系统HDFS，设计目标：1、存储量大2、自动快速检测应对硬件错误3、流式访问数据4、移动计算比移动数据本身更划算5、简单一致性模型6、异构平台可移植特点优点：高可靠性：Hadoop按位存储和处理数据的能力强高扩展性：hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中高效性：hadoop能够在节点之间动态地移动数据

　　好程序员大数据学习路线分享MAPREDUCE，需求：统计大量的文本文件中的单词出现的次数- 1）整个运算需要分阶段- 阶段一：并行局部运算- 阶段二 ：汇总处理，不同的阶段需要开发不同的程序- 2）阶段之间的调用- 3）业务程序（task程序）如何并发到集群并启动程序- 4）如何监控task程序的运行状态，如何处理异常- ::这些问题是开发分布式程序都会面临的问题，完全可以封装成框架::MR

　　好程序员Java学习路线分享JDBC初体验，JDBC（Java DataBase Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序- Java 具有坚固、安全、易于使用、易于

　　好程序员大数据学习路线分享高阶函数，我们通常将可以做为参数传递到方法中的表达式叫做函数高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。定义函数时格式：val 变量名 = (输入参数类型和个数) => 函数实现和返回值类型和个数“=”表示将函数赋给一个变量“=>”左面表示输入参数名称、类型和个数，右边表示函数的实现和返回值类型和参数个数作为值的函

　　好程序员大数据学习路线分享弹性分布式数据集RDD，RDD定义，RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变(数据和元数据)、可分区、里面的元素可并行计算的集合。RDD的特点:自动容错,位置感知性调度和可伸缩性RDD的属性1.一组分片 即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，

好程序员大数据学习路线分享scala单列和伴生对象scala单例object SingletonDemo {  def main(args: Array[String]): Unit = {    val s = SessionFactory    println(s.getSession)&nbs

　　好程序员web前端学习路线分享web测试之Js中的函数，在JS中，一般使用函数其实就是为了封装某些操作，或者把编写的程序进行模块化的操作。　　一.函数的声明方式　　1.普通的函数声明　　function box(num1, num2) {　　return num1+ num2;　　}　　2.使用变量初始化函数　　var box= function(num1, num2) {　　return n

　　1.segment的概念　　topic中会有一个到多个分区，每个分区中会有多个segment，segment的大小在kafka的配置文件里可以设置，segment的大小是相等的，每个segment有多个index文件和对应的数据文件组成的　　2.数据存储机制？（数据写入快的原因）　　首先是broker接收到数据，将数据放到操作系统(linux)的缓存里（pagecache）　　pagecach

好程序员大数据学习路线分享hdfs学习干货，能处理大数据的技术:Hadoop离线计算  spark实时计算  strom流式计算一、hadoop背景Apache Hadoop 是一个可靠的,可扩展的分布式计算开发软件Apache Hadoop 可以理解为一个框架. 它允许使用简单的编程模型来计算分布式的大型数据集合(海量数据)包括哪些模块:Hadoop Common : Had

好程序员大数据学习路线分享hive分区和分桶，hive分区1.为什么要分区？？当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。从而hive引出分区概念partition2.怎么分区？？看具体业务，能把一堆数据拆分成多个堆的数据就可以。 通常使用id 、 年 、 月 、天 、区域 、省份、 hive分区和mysql分区的区别？？ mysql的分

大数据学习路线分享Master的jps，SparkSubmit 　　类启动后的服务进程,用于提交任务,　　哪一段启动提交任务,哪一段启动submit(Driver端) 提交任务流程1.Driver端提交任务到Master(启动sparkSubmit进程)2.Master生成任务信息,放入对列中3.Master通知Worker启动Executor,(Master过滤出存活的Wor

　　好程序员大数据分享Spark任务和集群启动流程，Spark集群启动流程　　1.调用start-all.sh脚本,开始启动Master　　2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除　　3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker　　4.Worker服务启动后开始调用preStart方法开始向所有

　　好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor 同步:在主程序上排队执行的任务,只有前一个任务执行完毕后,才能执行下一个任务异步:指不进入主程序,而进入"任务对列"的任务,只有等主程序任务执行完毕,"任务对列"开始请求主程

好程序员大数据学习路线分享UDF函数1.为什么需要UDF？1）、因为内部函数没法满足需求。2）、hive它本身就是一个灵活框架，允许用自定义模块功能，如可以自定义UDF、serde、输入输出等。2.UDF是什么？UDF：user difine function，用户自定义函数，一对一。常用 udaf:user define aggregate function,用户自定义聚合函数，多对一。 udt

好程序员大数据学习路线分享Hbase指令学习启动：1、启动zk  zkServer.sh start2、启动hdfs  start-dfs.sh3、启动hbase服务 start-hbase.sh         （启动报错的话要kill QuorumPeerMain的进程，在重新启动）4

好程序员大数据学习路线分享spark之Scala，基本语法：变量变量的定义：不可变：val a = 2  或者 val a : Int = 2 (指定了数据类型)  lazy val a : Int =2可变：var a = 2   或者 var a : Int = 2(指定了数据类型)def  a = 2定义变量不能1.以数字

　　好程序员Java学习路线之springboot和ssm开发的区别，看到很多小伙伴对此有所疑惑所以今天为大家讲解一下，有不对的地方欢迎大家指教。　　一、Springboot是什么?　　谈springboot之前,咱们要先说一下传统的SSM开发,使用过SSM开发的人都会发现,传统的SSM框架项目会有大量的配置文件,需要手动的区整合三个框架,也就是springmvc,spring,mybatis,并

好程序员Java学习路线分享SpringMVC之请求和响应，前面我们学习了SpringMVC的基本配置，接下来一个非常重要的知识点是如何接受用户的请求以及如何将数据发送给用户。获得请求参数获得页面参数的几种方式1）通过参数名获得给控制器的方法设置参数名和表单name相同2）通过@RequestParam("参数名")注解设置参数@RequestParam("表单元素的