-
好程序员大数据学习路线Hadoop学习干货分享
好程序员大数据学习路线Hadoop学习干货分享，Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。包括这些模块： - Hadoop Common：支持其他Hadoop模块的常用工具。- Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用
-
新款iPhone为何不支持5G？小编总结出3点，库克真的是用心良苦
新款iPhone为何不支持5G？小编总结出3点，库克真的是用心良苦新款iPhone的众多消息还是被网友们不断的曝光出来，用Pro命名啊，浴霸三摄等这些都成为了众网友的热门话题，但是新款iPhone不支持5G网络，这个消息会激起多少人的好奇心呢？目前最火的热点也就是5G网络了，还据外媒报道新iPhone并不支持5G，这到底是为什么呢？小编总结出了三点原因，也算是体会到了库克的用心良苦。1、 推出时机
-
IT大佬总结大数据个学习阶段，每天两小时，年薪百万不是梦
本阶段不需要编程，很多人听过大数据，听过人工智能，听过数据挖掘。但是几乎都有疑问：什么是大数据？什么是人工智能？大数据和人工智能能做什么？等等。这一阶段主要是答疑解惑，让大家明白这些概念，至少在和高端人士茶余饭后谈论大数据和人工智能的时候可以不需要“一脸懵逼”。 如果已经对大数据和人工智能了解很透彻，可以跳过直接进入第一阶段。第一阶段：linux 系统这章是基础课程，帮大家进入大数据领域打好 Li
-
华为手机翻译功能！5种方法你可能只会3种，现在补齐也不太迟
华为手机翻译功能！5种方法你可能只会3种，现在补齐也不太迟华为手机再国内市场上还是获得了不少人的喜爱，并且所占国内手机市场份额很高，抛开爱国情怀，华为手机的口碑以及质量，还是收获了不少花粉，但是更多的人选择华为，是因为华为手机自带了很多黑科技功能，像华为手机翻译功能，我想就能够帮助更多的人，更好的办公！那么对于华为手机翻译功能，小编为大家整理出了5种翻译翻译方法，很多人应该只使用过3种，那么大家就
-
hdfs dfsadmin -fetchImage
hdfs dfsadmin -fetchImage
-
好程序员大数据培训分享关于kafka的几个重要问题
1.segment的概念 topic中会有一个到多个分区，每个分区中会有多个segment，segment的大小在kafka的配置文件里可以设置，segment的大小是相等的，每个segment有多个index文件和对应的数据文件组成的 2.数据存储机制？（数据写入快的原因） 首先是broker接收到数据，将数据放到操作系统(linux)的缓存里（pagecache） pagecach
-
Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
作者|白松 目的：科研中，需要分析在每次迭代过程中 参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的
-
Giraph源码分析（七）—— 添加消息统计功能
作者|白松 1、 添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。 源代码如下： package org.apache.giraph.counters; import java.util.Iterator; import java.util.Map;
-
又来一家国产"芯"，投百亿资金自主研发，关键技术要自己掌握
又来一家国产"芯"，投百亿资金自主研发，关键技术要自己掌握大家肯定都知道华为公司生产出的手机使用的几乎都是自主研发的麒麟芯片，这一点我很佩服任老的先见之明，只有把关键的技术掌握在自己的手中，才不会被人掐住要害，受制于人。近日，国内又一家手机生产厂商豪投100亿，用来自主研发手机芯片，一旦成功，我国将再多一家能够自主研发芯片的公司。该公司就是与华为公司一起，被称为国产手机四巨头的
-
从零开始实现一个IDL+RPC框架
一、RPC是什么在很久之前的单机时代，一台电脑中跑着多个进程，进程之间没有交流各干各的，就这样过了很多年。突然有一天有了新需求，A进程需要实现一个画图的功能，恰好邻居B进程已经有了这个功能，偷懒的程序员C想出了一个办法：A进程调B进程的画图功能。于是出现了IPC（Inter-process communication，进程间通信）。就这样程序员C愉快的去吃早餐去了！ 又过了几年，到了互联网时代，
-
入门大数据，可以先自学哪些内容？
现在网上的学习资源很多，免费付费的都有，很多人提升自己的方法会选择自学。零基础小白想入门大数据，前期打基础的部分是可以自学的。1.英语基础对于大数据技术文章，比较先进的是外文较多，编程也需要能看懂代码，必须要有一定的英语能力。2.统计学主要是大数据分析、数据挖掘方向的工作需要。重点学习：基本的统计量、概率分布、置信区间与假设检验、相关性与回归分析等。推荐书籍：《赤裸裸的统计学》、《深入浅出统计学》
-
Giraph源码分析（六）——Edge 分析
1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。 片段代码如下。 2.org.apache.giraph.edge.Edge 接口，用于存储顶点的边，每条边包含targetVertexI
-
零基础学大数据开发，主要分为哪四个步骤？
其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。随着大数据行业的快速发展，也随之出现了一些问题，比如大数据人才的缺失就是目前急需解决的一个问题，那么很
-
菜鸟的Hadoop快速入门
一、相关概念1、大数据大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。 2、HadoopHadoop是一个开源的大数据框架，是一个分布式计算的解决方案。 Hadoop的两个核心解决了数据存储问题（H
-
常见的Web安全漏洞及测试方法介绍
常见的Web安全漏洞及测试方法介绍背景介绍Web应用一般是指B/S架构的通过HTTP/HTTPS协议提供服务的统称。随着互联网的发展，Web应用已经融入了我们的日常生活的各个方面。在目前的Web应用中，大多数应用不都是静态的网页浏览，而是涉及到服务器的动态处理。如果开发者的安全意识不强，就会导致Web应用安全问题层出不穷。 我们一般说的Web应用攻击，是指攻击者通过浏览器或者其他的攻击工具，在U
-
大数据以及大数据技术都包括哪些内容
大数据经过多年的发展，目前在概念上已经有了更多的含义，从不同的角度来看待大数据也会有不同的定义，但是总的来说，大数据可以用三个方面来进行概括，其一是“新的价值领域”;其二是“数据价值化”;其三是“产业互联网的基础”。大数据之所以受到了广泛的关注，一个重要的原因就是大数据开辟了新的价值领域，这一点是非常关键的。新的价值领域就会打造一系列生态体系，而生态体系又会孕育出大量不同的商业模式，而这个过程也会
-
Giraph 源码分析（五）—— 加载数据+同步总结
作者|白松 关于Giraph 共有九个章节，本文第五个章节。 环境：在单机上（机器名：giraphx）启动了2个workers。 输入：SSSP文件夹，里面有1.txt和2.txt两个文件。 1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。 方法：每个Worker通过检某个Znode节点是否存在，同时在此Znode上设置Watcher。若不
-
大数据测试之hadoop hdfs和MapReduce小实战
大数据测试之hadoop单机环境搭建(超级详细版)这个基础上，我们来运行一个官网的MapReduce demo程序来看看效果和处理过程。大致步骤如下：新建一个文件test.txt，内容为Hello HadoopHello xiaoqiangHello testingbangHello http://xqtesting.sxl.cn将test.txt上传到hdfs的根目录/usr/lib/hadoo
-
大数据测试之hadoop再次探索
引子虽然通过《大数据测试之hadoop初探》以及把hadoop的基本核心说明白了，但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看大数据粗暴理解大数据甭管什么，简单粗暴的理解为大！大！大！对，你没看错，不管什么都是大就对了，哈哈哈哈大数据应用的功能抽象出来基本就是：数据采集、数据存储、数据处理（过滤、拆分、聚合）、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的处理后给
-
大数据测试之hadoop初探
Hadoop的历史这里就不多说了，网上很多资料，总而言之对于hadoop谷歌和雅虎对于ta的贡献功不可没。更多介绍请自行查看这里：https://baike.baidu.com/item/Hadoop/3526507?fr=aladdinHadoop的应用场景数据分析，如日志系统、推荐系统离线计算海量数据存储Hadoop的核心Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDF
