Zookeeper工作原理
Zookeeper是什么?想必马上想到的是一般在集群中监控集群的。那么zookeeper到底是什么?ZooK
Spring集成Hadoop和Hbase
hadoop是大数据环境下必备的一套系统,使用hadoop集群可以充分的共享服务器资源,在离线处理上已经有了
分治:hash + 堆 归并 快排 处理大数据
一、寻找热门查询,300万个查询字符串中统计最热门的10个查询。搜索引擎会通过日志文件把用户每次检索使用的所
Mysql主从复制搭建与深度原理分析
首先,在docker下进行搭建mysql可以当做学习数据库搭建时的测试使用,docker的hub中有已经封装
lucene 全文检索原理和流程
Lucene 是一个高效的,基于Java 的全文检索库。说起查找,我们首先想起的就是顺序查找,比如我们有10
redis高并发高可用
redis 实现高并发主要依靠主从架构,一主多从.对于性能来说,单主用来写入数据,单机几万QPS,多从用来查
Spark创建DataFrame常见方式
spark将RDD转换为DataFrame方法一(不推荐)首先说明下面所有方法我都是使用scala语言实现的
Spring装配Bean
spring三种方式装配bean:自动化装配bean借助java来进行bean装配使用xml进行bean装配
python作用域
块级作用域?? 1if 1 == 1: 2 name = "lzl" 3 4print(name) 5
Hbase原理与架构
我们都知道Hbase是一个构建在HDFS上的分布式列存储系统。Hbase主要用于海量数据的结构化存储。Hba
python 解决多核处理器算力浪费的现象
我们都知道python因为其GIL锁导致每一个线程被绑定到一个核上,导致python无法通过线程实现真正的平
贸易战:封锁华为的几点思考
最近,中美贸易频频出现在热搜上,让你不得不关注。当然很多国人说义愤填膺,拿出一副不服就干的姿态,很少人在这种
MapReduce工作流程最详细解释
MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的
MR的工作原理
我们知道MapReduce诞生与搜索邻域,主要解决的是海量数据处理扩展性差的问题。MapReduce是一种编
python 函数的本质理解
对于习惯了Java等面向对象语言,可能会对其任何对象都可以用类来表示已经习惯,但是python语言的灵活多变
HashMap&ConcurrentHashMap&HashTable
hashmap的底层实现JDK1.8以前Hashmap底层是数组和链表结合在一起使用,也就是散列链表。has
lucene 全文检索原理和流程
Lucene 是一个高效的,基于Java 的全文检索库。说起查找,我们首先想起的就是顺序查找,比如我们有10
hadoop + docker 搭建hadoop学习环境
在学习大数据的情况下免不了自己搭建一个hadoop环境,但是使用虚拟机在自己的电脑上启动一个集群环境会很吃机