Elasticsearch搜索中文分词优化
Elasticsearch搜索中文分词优化
Elasticsearch搜索Suggest功能优化
Elasticsearch搜索Suggest功能优化
让Elasticsearch飞起来!百亿级实时查询优化实战
最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台,日流量峰值在 10 到 12 亿上下,每年数据约 4000 亿条,占用空间大概 200T。
亿级 Elasticsearch 性能优化
最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统。在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都超过亿级别,甚至达到百亿级别。
ElasticSearch Aggregations GroupBy 实现源码分析
在前文 ElasticSearch Aggregations 分析 中,我们提及了 【Aggregation Bucket的实现】,然而只是用文字简要描述了原理。今天我们会举个实际groupBy的例子进行剖析,让大家对ElasticSearch Aggregations 的工作原理有更深入的理解
通俗理解 Kubernetes 中的服务,搞懂后真香
1.复习pod相关核心结构1.1pod结构pod相当于一个容器,pod有独立的ip地址,也有自己的hostname,利用namespace进行资源隔离,相当于一个独立沙箱环境。pod内部封装的是容器,可以封装一个,或者多个容器(通常是一组相关的容器)1.2pod网络pod有自己独立的IP地址pod内
ElasticSearch Aggregations 分析
承接上篇文章 ElasticSearch Rest/RPC 接口解析,这篇文章我们重点分析让ES步入数据分析领域的Aggregation相关的功能和设计。
ElasticSearch Rest/RPC 接口解析
ElasticSearch 的体系结构比较复杂,层次也比较深,源码注释相比其他的开源项目要少。这是ElasticSearch 系列的第一篇。解析ElasticSearch的接口层,也就是Rest/RPC接口相关。我们会描述一个请求从http接口到最后被处理都经过了哪些环节。
如何提高ElasticSearch 索引速度
如何提高ElasticSearch 索引速度
ElasticSearch Bulk 源码解析
本来应该先有这篇文章,后有如何提高ElasticSearch 索引速度才对。不过当时觉得后面一篇文章会更有实际意义一些,所以先写了后面那篇文章。结果现在这篇文章晚了20多天。
自定义Spark Partitioner提升es-hadoop Bulk效率
之前写过一篇文章,如何提高ElasticSearch 索引速度。除了对ES本身的优化以外,我现在大体思路是尽量将逻辑外移到Spark上,Spark的分布式计算能力强,cpu密集型的很适合。这篇文章涉及的调整也是对SparkES 多维分析引擎设计 中提及的一个重要概念“shard to partition ,partition to shard ” 的实现。不过目前只涉及到构建索引那块。
elasticsearch-sql 增加 jdbc支持
elasticsearch-sql 增加 jdbc支持
Elasticsearch2.3.3 java client search源码分析
问题es集群只配置一个节点,client是否能够自动发现集群中的所有节点?是如何发现的?如下配置了一个节点:单个node配置esclient如何做到负载均衡?一个esnode挂掉之后,esclient如何摘掉该节点?esclientnode检测分为两种模式,有什么不同?核心类TransportCli
Elasticsearch给全部文档添加新的字段
大致有三种解决方法 scan and scroll all documents _update_by_query api re-index and add new fields, use the /_reindex API
elasticsearch2.1.1集成测试中遇到的问题总结
从elasticsearch1.6.2版本开始,项目组就开始进行基于elasticsearch的应用开发,然而对于这些应用的单元测试则相对落后——在搭建的es测试集群上跑测试用例。其实,es本身提供了易于使用地基础的集成测试能力。
ES中的MR
elastic search真是个让人既爱又恨的东西,性能强劲,功能强大,但就是在使用中遇到种种问题(多半因为文档太差)。 文章记录一下在es 2.2.0版本中使用Scripted Metric Aggregation(也就是牛X的map-reduce)的方法。 api这是官方文档,但是并不详细,看完并不能干出什么事来.这是java api
你见过最垃圾的代码长什么样?(来长长见识)
个人们真正编写的垃圾代码片段,其中一个可能是你写的。在某些时候,它发生在我们所有人身上。你产生了你并不感到自豪的代码。这些代码让你怀疑,"我怎么会写出这样的东西?"这没什么好羞愧的。我们只
elasticsearch集群搭建及参数详解
elasticsearch集群的搭建教程很多。网上一搜都是,但是,搭建不难。更重要的是明白集群原理,性能以及运维知识点。所以,本文将从这些点着重介绍。
ES 源码分析(3)from size, scroll 和 search after
前两天突然被业务部的同事问了一句:“我现在要做搜索结果全量导,该用哪个接口,性能要好的?”之前虽然是知道这三种方法都是可以做分页的深度查询,但是由于具体的代码实现细节没看过,因此心里一下子就没有了底气,只好回答说先看看。fromsizefromsize是最家喻户晓的,也是最暴力的,需要查询from+
Elasticsearch 5.x 源码分析(5)segments merge 流程分析
这两周主要看了下Elasticsearch(其实是Lucene)的segments的merge流程。事情起因是,线上的ES有些大索引,其中的segments个数几十个,每个大小100M+,小segments若干,而遇到问题就是这些大的segments不再做merge了,除非强制进行forceMerg