ITPub博客

我们长期以来，Lucene在搜索领域的垄断地位无人能及，基于Lucene之上的ElasticSearch与Solr也是家喻户晓的产品；录信数据库最初的版本也是基于Lucene来实现的，在设计之初经常会遇到跟solr、es同样的问题。如面对几十亿的数据就遇到内存爆掉的问题，此时CPU与

我们在如下场景中，我们需要对A表数据进行筛选，然后将筛选后的结果跟另外一张表进行关联碰撞。如果筛选后的结果，内存可以放的下，就可以考虑使用RamIndexFilter来提升关联碰撞的性能。因为使用RamIndexFilter是直接使用索引进行关联的，并非采用暴力扫描的方式进行关联，关

将表中已有的字段中的数据汇聚到一个新的字段中进行存储的机制，用以解决数据搜索过程中不知道位置的问题的方法叫做汇聚存储。汇聚存储可以解决搜索的内容不知道在表的哪个字段中，可以做到全表匹配。再结合分词数据类型即可做到全文检索的特性。用户可以自己定义任意的字段存储到不同的或者相同的目标

地理位置检索服务在日常生活中随处可见，小到共享单车、高德地图，大到飞行航线轨迹。上述服务中很多相关功能都可以通过GeoHash来实现，Lucene/Solr中也有应用到GeoHash，通过GeoHash创建索引、查询索引以及距离的计算等等。GeoHash编码Lucene内部san

Facet在标签分析与画像分析中是必备的功能。facet用于反映一个搜索词的小平面（或者说某一个分组），即起到标签聚合统计的功能，可以像电商类网站那样的对搜索结果聚合分类，品牌等属性。简言之，facet就是某一类型的标签统计，比如xxx年热词等等，只要有记录，都能统计出来。这类数

点击上方蓝字关注我们业务有成百上千张表，每张表有上百个列。在如下场景中：每张表的数据量都不多（几亿几十亿），但是表数量特别多（几十张甚至几百张表）如果为每个表都创建一个物理表，则会造成资源的浪费。同时存在如下问题：每张物理表都需要维护自己的BUFFER，极易OOM，导入性能太差。每张物理表都需要单独

点击上方蓝字关注我们你还在堆机器吗？你还在依赖大内存吗？你在为大量的SSD盘成本而心痛吗？Hadoop异构存储了解一下~异构存储简言之，就是从硬件设备上进行优化存储和性能，针对冷数据，采用容量大的、读写性能不高的介质存储，比如普通的磁盘；针对热数据，实时进行查询的，经常用到的就用SSD进行存储。在说