-
编辑 删除
限制和推荐呵呵
概述：CappedCollection是一种固定大小的集合，从而支持高吞吐量的insert以及顺序读取。一旦分配的空间被占用满，则newdocument记录将会覆盖掉最老的document记录。遵循FIFO原则。限制和推荐：1）支持update操作，并建议在update的查询条件字段上创建索引；但是
-
编辑 删除
R语言配色：获得高对比度离散型色彩
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
今天比较开心，只想哈哈哈哈哈 啥也不多说了，直接看示例吧！绝对比我口才好~ hbase(main):050:0> scan 'test' ROW COLUMN+CELL row-1 column=f:c1, timestamp=1587984555307, value=\xE7\xA6\x85\xE5\x85\x8B row-2 column=f:c2, timestamp=158798455530…
-
编辑 删除
HBase Filter 过滤器之 Comparator 原理及源码学习
前言：上篇文章HBase Filter 过滤器概述对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过滤器之比较器作一个补充介绍，也算是HBase Filter学习的必备低阶魂技吧。本篇文中源码基于HBase 1.1.2.2.6.5.0-292 HDP版本。 HBase所有的比较器实…
-
编辑 删除
HBase Filter 过滤器概述
abc 过滤器介绍 HBase过滤器是一套为完成一些较高级的需求所提供的API接口。 过滤器也被称为下推判断器（push-down predicates），支持把数据过滤标准从客户端下推到服务器，带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer，所有的过…
-
编辑 删除
牛图cowplot究竟想干啥？
早已闻cowplot大名，但是不知道它的具体目标是什么。因为它解决的问题不鲜明（本来可能可以分成多个包），但是完成的功能却实用而强大，这里稍加盘点，以期后面取用。1、坐标轴对齐：Aligning plots2、注释：https://
-
编辑 删除
HBase BucketAllocatorException 异常剖析
近日，观察到HBase集群出现如下WARN日志： 2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:Failed allocation for 604acc82edd349ca906939af14464bcb_175674734; org.apache.hadoop.hbase.io.hfile.bucket.Bucke…
-
编辑 删除
时大漂亮最优秀-4.21会议记录（内部资料）有炸
戳戳戳！！！！！戳PDF有惊喜！！！
-
编辑 删除
基于HBase构建千亿级文本数据相似度计算与快速去重系统
前言 随着大数据时代的到来，数据信息在给我们生活带来便利的同时，同样也给我们带来了一系列的考验与挑战。本文主要介绍了基于 Apache HBase 与 Google SimHash 等多种算法共同实现的一套支持百亿级文本数据相似度计算与快速去重系统的设计与实现。该方案…
-
编辑 删除
HBase实操：HBase-Spark-Read-Demo 分享
前言：本文是一个关于Spark读取HBase的一个小demo，简单了解一下~ 相关代码： import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase._ import org.apache.hadoop.hbase.client.Scan import org.apache.hadoop.hbase.mapreduce.Tab…
-
编辑 删除
HBase实操：Spark-Read-HBase-Snapshot-Demo 分享
前言：之前给大家分享了Spark通过接口直接读取HBase的一个小demo：HBase-Spark-Read-Demo，但如果在数据量非常大的情况下，Spark直接扫描HBase表必然会对HBase集群造成不小的压力。基于此，今天再给大家分享一下Spark通过Snapshot直接读取HBase HFile文件的…
-
编辑 删除
全方位认识HBase：一个值得拥有的NoSQL数据库（一）
前言：说起HBase这门技术，在认知上对于稍微接触或使用过它的人来讲，可能只是百千数据库中一个很普通的库，大概就像我对Redis的认知一样：缓存嘛！可对于HBase，我确实是带着某些感情在的。今日突然萌生了一个生趣的想法，想抛开技术的视角，从情感的角度…
-
编辑 删除
HBase-2.2.3源码编译-Windows版
源码环境一览 windows: 7 64Bit Java: 1.8.0_131 Maven：3.3.9 Git：2.24.0.windows.1 HBase：2.2.3 Hadoop：2.8.5下载安装 1. Maven|Git|Java下载安装 Maven、Git 、Java 请先自行下载安装并配置环境变量。 Maven安装完毕后在Maven配置文件settings.xml中…
-
编辑 删除
HBase Shell 十大花式玩儿法
前言：工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。 1. 交互模式 也就是我们最常用到的Shell命令行的方式。 $ hbase shell hbase(main):001:0> list2. 非交互模式 $ echo "describe 'test1'" |…
-
编辑 删除
tidyfst行操作
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
tidyfst之超级汇总：summarise_vars
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
tidyfst对标dplyr 1.0.0的列函数：select/rename/relocate
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
R语言计算算法复杂度：GuessCompx
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
tidyft高性能数据操作
作者：黄天元，复旦大学博士在读，热爱数据科学与开源工具（R），致力于利用数据科学迅速积累行业经验优势和科学知识发现，涉猎内容包括但不限于信息计量、机器学习、数据可视化、应用统计建模、知识图谱等，著有《R语言数据高效处理指南》。知乎专栏：R语…
-
编辑 删除
使用ElasticSearch赋能HBase二级索引 | 实践一年后总结
前言：还记得那是2018年的一个夏天，天气特别热，我一边擦汗一边听领导大刀阔斧的讲述自己未来的改革蓝图。会议开完了，核心思想就是：我们要搞一个数据大池子，要把公司能灌的数据都灌入这个大池子，然后让别人用 各种姿势 来捞这些数据。系统从开始打造到…
