ITPub博客

　　好程序员web前端学习路线分享web测试之Js中的函数，在JS中，一般使用函数其实就是为了封装某些操作，或者把编写的程序进行模块化的操作。　　一.函数的声明方式　　1.普通的函数声明　　function box(num1, num2) {　　return num1+ num2;　　}　　2.使用变量初始化函数　　var box= function(num1, num2) {　　return n

　　1.segment的概念　　topic中会有一个到多个分区，每个分区中会有多个segment，segment的大小在kafka的配置文件里可以设置，segment的大小是相等的，每个segment有多个index文件和对应的数据文件组成的　　2.数据存储机制？（数据写入快的原因）　　首先是broker接收到数据，将数据放到操作系统(linux)的缓存里（pagecache）　　pagecach

好程序员大数据学习路线分享hdfs学习干货，能处理大数据的技术:Hadoop离线计算  spark实时计算  strom流式计算一、hadoop背景Apache Hadoop 是一个可靠的,可扩展的分布式计算开发软件Apache Hadoop 可以理解为一个框架. 它允许使用简单的编程模型来计算分布式的大型数据集合(海量数据)包括哪些模块:Hadoop Common : Had

好程序员大数据学习路线分享hive分区和分桶，hive分区1.为什么要分区？？当单个表数据量越来越大的时候，hive查询通常会全表扫描，这将会浪费我们不关心数据的扫描，浪费大量时间。从而hive引出分区概念partition2.怎么分区？？看具体业务，能把一堆数据拆分成多个堆的数据就可以。 通常使用id 、 年 、 月 、天 、区域 、省份、 hive分区和mysql分区的区别？？ mysql的分

大数据学习路线分享Master的jps，SparkSubmit 　　类启动后的服务进程,用于提交任务,　　哪一段启动提交任务,哪一段启动submit(Driver端) 提交任务流程1.Driver端提交任务到Master(启动sparkSubmit进程)2.Master生成任务信息,放入对列中3.Master通知Worker启动Executor,(Master过滤出存活的Wor

　　好程序员大数据分享Spark任务和集群启动流程，Spark集群启动流程　　1.调用start-all.sh脚本,开始启动Master　　2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除　　3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker　　4.Worker服务启动后开始调用preStart方法开始向所有

　　好程序员大数据学习路线分享Actor学习笔记，在scala中她能实现很强大的功能,他是基于并发机制的一个事件模型我们现在学的scala2.10.x版本就是之前的Actor 同步:在主程序上排队执行的任务,只有前一个任务执行完毕后,才能执行下一个任务异步:指不进入主程序,而进入"任务对列"的任务,只有等主程序任务执行完毕,"任务对列"开始请求主程

好程序员大数据学习路线分享UDF函数1.为什么需要UDF？1）、因为内部函数没法满足需求。2）、hive它本身就是一个灵活框架，允许用自定义模块功能，如可以自定义UDF、serde、输入输出等。2.UDF是什么？UDF：user difine function，用户自定义函数，一对一。常用 udaf:user define aggregate function,用户自定义聚合函数，多对一。 udt

好程序员大数据学习路线分享Hbase指令学习启动：1、启动zk  zkServer.sh start2、启动hdfs  start-dfs.sh3、启动hbase服务 start-hbase.sh         （启动报错的话要kill QuorumPeerMain的进程，在重新启动）4

好程序员大数据学习路线分享spark之Scala，基本语法：变量变量的定义：不可变：val a = 2  或者 val a : Int = 2 (指定了数据类型)  lazy val a : Int =2可变：var a = 2   或者 var a : Int = 2(指定了数据类型)def  a = 2定义变量不能1.以数字

　　好程序员Java学习路线之springboot和ssm开发的区别，看到很多小伙伴对此有所疑惑所以今天为大家讲解一下，有不对的地方欢迎大家指教。　　一、Springboot是什么?　　谈springboot之前,咱们要先说一下传统的SSM开发,使用过SSM开发的人都会发现,传统的SSM框架项目会有大量的配置文件,需要手动的区整合三个框架,也就是springmvc,spring,mybatis,并

好程序员Java学习路线分享SpringMVC之请求和响应，前面我们学习了SpringMVC的基本配置，接下来一个非常重要的知识点是如何接受用户的请求以及如何将数据发送给用户。获得请求参数获得页面参数的几种方式1）通过参数名获得给控制器的方法设置参数名和表单name相同2）通过@RequestParam("参数名")注解设置参数@RequestParam("表单元素的

　　好程序员web前端分享HTML5中的nav标签学习笔记，nav标签全称navigation，顾名思义，是导航的意思。根据HTML5的相关标准定义如下： "A section of a page that links to other pages or to parts within the page:a section with navigation links." 中文翻

好程序员Java学习路线分享Spring创建Bean的3种方式，本文讲解了在Spring 应用中创建Bean的多种方式，包括自动创建，以及手动创建注入方式，实际开发中可以根据业务场景选择合适的方案。方式1：使用Spring XML方式配置，该方式用于在纯Spring 应用中，适用于简单的小应用，当应用变得复杂，将会导致XMl配置文件膨胀 ，不利于对象管理。<bean id="xxx

好程序员Java学习路线分享三大特性之多态，一、什么是多态1.面向对象的三大特性：封装、继承、多态。从一定角度来看，封装和继承几乎都是为多态而准备的。这是我们最后一个概念，也是最重要的知识点。2.多态的定义：指允许不同类的对象对同一消息做出响应。即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用）3.实现多态的技术称为：动态绑定（dynamic binding），是指

　　好程序员大数据学习路线分享SparkSQl，Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。SparkSql中返回的数据类型是DataFrame1.1.1.   为什么要学习Spark SQL我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群

　　好程序员Python学习路线之python爬虫入门，随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性.　　1.什么是爬虫，即网络爬虫

     好程序员Java学习路线分享JVM相关概念，jdk（Java Development Kit）Java开发包，是Java开发人员用于编译和调试程序的一套程序的集合。    jre（Java Runtime Evironment）Java运行时环境，是运行Java程序的平台，所有的Java程序必须在这个平台中才能执行。  &nbs

项目需求：完成FlappyBird游戏。1. 功能说明：游戏开始后，间歇性的点击鼠标，让小鸟向上飞，不会掉下来，并且要穿过柱子的空隙，不能碰到柱子，碰到就dead了，穿过一个柱子的一分2. 界面需求：开始界面：点击鼠标后开始游戏，游戏时界面：游戏结束时界面： 3. 性能规定：游戏要求每点击一下鼠标，必须实时响应为小鸟向上飞指定的高度，并且小鸟一直有下降的速度

好程序员大数据学习路线Hbase总结，为什么有hbase　　随着数据的逐渐增大，传统的关系型数据库无法满足对数据的查询和存储，而hive不是数据库，只是数据仓库，虽然能够满足简单的存储要求，但是始终无法满足对非结构化和半结构化的数据的存储和查询 2hbase是什么　　Hbase是阿帕奇旗下的一款开源的，多版本的，可扩展的非关系型数据库。　　他是基于谷歌的bigtable的基础上，建立在h