Elasticsearch:深入集群优化
为打造一个高查询和高索引吞吐量、高稳定性的Elasticsearch集群,相信以下几点配置优化都很重要。1、设置Java堆大小-Xmx和-Xms设置成同样的值,例如16G不宜超过物理内存的一半,比如服务器是32G,Heap大小可以设置为16G,官方说了,不要设置太大超过32G,可能导致长GC。2、索
新一代海量数据搜索引擎 TurboSearch 来了
一.TurboSearch简介AI平台部多年一直在搜索领域进行深耕和积累,继搜搜网页搜索之后,陆续服务于微信搜一搜(公众号文章、朋友圈、视频)、应用宝搜索、地图搜索、音乐搜索、视频搜索、手Q、QQ群等精品垂直搜索业务,以及云搜中小数据搜索业务。从网页搜索继承下来的搜索系统,经过多年的需求迭代,越来越
新一代海量数据搜索引擎 TurboSearch 来了
一.TurboSearch简介AI平台部多年一直在搜索领域进行深耕和积累,继搜搜网页搜索之后,陆续服务于微信搜一搜(公众号文章、朋友圈、视频)、应用宝搜索、地图搜索、音乐搜索、视频搜索、手Q、QQ群等精品垂直搜索业务,以及云搜中小数据搜索业务。从网页搜索继承下来的搜索系统,经过多年的需求迭代,越来越
基于word2vec和Elasticsearch实现个性化搜索
在word2vec学习小记一文中我们曾经学习了word2vec这个工具,它基于神经网络语言模型并在其基础上进行优化,最终能获取词向量和语言模型。在我们的商品搜索系统里,采用了word2vec的方式来计算用户向量和商品向量,并通过Elasticsearch的function_score评分机制和自定义
日志分析的模式发现功能实现(1)
模式发现,几乎已经快成为日志分析产品中标配的机器学习功能。当然各家有各家的实现方式。准备开启一个系列文章,分别介绍几家主要的产品里该功能的做法,以及可行的类似效果的实现方式。当然,肯定不是人家真正的实现方式,毕竟我可不是偷代码的……作为系列文章的开始,还是要给不清楚这个功能的读者先科普一下这个功能的
如何使用Spark快速将数据写入Elasticsearch
如何使用Spark快速将数据写入Elasticsearch说到数据写入Elasticsearch,最先想到的肯定是Logstash。Logstash因为其简单上手、可扩展、可伸缩等优点被广大用户接受。但是尺有所短,寸有所长,Logstash肯定也有它无法适用的应用场景,比如:海量数据ETL海量数据聚
Elasticsearch在日志分析领域应用和运维实践
主要讲述了:基于ELK+Kafka的日志分析系统Elasticsearch优化经验Elasticsearch运维实践ElasticSearch介绍分布式实时分析搜索引擎,优点包括:查询近实时内存消耗小,搜索速度快可扩展性强高可用数据结构FST(FiniteStateTransducer)这种数据结构
Docker 搭建实时日志平台 ELK
ELK图文简介最终效果预览ELK搭建流程1、规范化SpringBoot应用的日志请参考《SpringBootLog4j2日志性能之巅》,此处为了收集、处理日志信息,所以修改下日志的Pattern,将<Propertyname="LOG_PATTERN">%clr{%d{yyyy-MM-d
浅谈使用ElasticSearch实现全文检索
现如今,无论是互联网信息还是企业内部每天产生的信息,都在以指数级增长,对于企业内部,每天发生的大量数据,尤其是非结构化数据中,如何能快速查找到对企业内部有用的信息,成为每个公司开始关注的重点。前段时间,笔者就接到类似的需求,某大型保险企业,希望能够将每天发生在企业内部的非结构化数据进行存储与检索,方
从DSL扯开去
智能运维平台的内核驱动力来自数据(日志和指标)分析。从广义范畴来说,所有可以用作数据处理的软件系统,都可以用来构建这个平台。从远古时代的awstats到piwik,到人手一个的hadoop集群(确实没有更抽象具体的运维向子产品),到目前最流行的ELK,包括新近的基于PostgreSQL搞的Times
Elasticsearch技术研讨
由于对Elasticsearch感兴趣的朋友很多,所以特地将Elasticsearch相关的文章独立一个专栏更新。感兴趣的朋请移步专栏『Elasticsearch技术研讨』,本专栏之后不再更新Elasticsearch相关文章。目前已发布文章包括:胡一:从Elasticsearch来看分布式系统架构
百亿级实时查询优化实战,让你的Elasticsearch飞起来!
开头小广告:欢迎关注我的专栏:里面不定期分享Java架构技术知识点及解析,还会不断更新的BATJ面试专题,欢迎大家前来探讨交流,如有好的文章也欢迎投稿。以架构赢天下zhuanlan.zhihu.com最近的一个项目是风控过程数据实时统计分析和聚合的一个OLAP分析监控平台,日流量峰值在10到12亿
Elastic Stack 5.0升级踩坑记
27号收到了官方发的ElasticStack5.0正式发布的邮件,我就去踩坑了。先说结论,做好测试,谨慎操作。•ES5简介这次是个大升级,统一了全家桶版本号,升级了Lucene,发布了对于官方来说非常重要的X-Pack,等等。详见ElasticStack5.0.0Released、Breakingc
elasticsearch与solr比较
solr:优点1、Solr有一个更大、更成熟的用户、开发和贡献者社区。2、支持添加多种格式的索引,如:HTML、PDF、微软Office系列软件格式以及JSON、XML、CSV等纯文本格式。3、Solr比较成熟、稳定。4、不考虑建索引的同时进行搜索,速度更快。缺点建立索引时,搜索效率下降,实时索引搜
ELK + kafka 日志方案
概述本文介绍使用ELK(elasticsearch、logstash、kibana)+kafka来搭建一个日志系统。主要演示使用springaop进行日志收集,然后通过kafka将日志发送给logstash,logstash再将日志写入elasticsearch,这样elasticsearch就有了
初探 ELK
ELK框架ELK由Elasticsearch,Logstash和Kibana三部分组成(当然,现在加入了新成员Beats)。目的是收集不同的日志,并对日志进行过滤清洗,建索引,展示,以方便用户查询,并且可以基于数据做报警,报表等更过事情。其中:Beats:Beats只做一件事,收集并传输数据。它本身
ElasticSearch基本用法(kibana Devtools 基本语法)
查询某一个索引下的所有数据:GETcms_test/_search查询某一个索引的模板信息:GETcms_test/_settingsGETcms_test/_mapping查询es服务下的所有别名:GET_alias查询指定查询条件的数据:查询age=50且sex!=女的数据,分页每页5条数据GE
ELK-基础系列(五)-Logstash 正则实践
Logstash正则参考地址参考地址:https://www.elastic.co/guide/en/logstash/current/filter-plugins.htmlhttps://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-p
制图小技巧:巧用Python和ELK瞬间完成总图建筑名称标注
各位小伙伴周一好,又到了每周一次的制图教室啦。经过前面两次制图教程的分享,相信大家对于白模填色和写实渲染这两种表达方式肯定有了较好的掌握。那么今天我们就转战制图技巧篇,和童鞋们聊一下总平面图中的建筑名称标注问题。对于总平面图,各位应该都知道,我们除了对于建筑,场地,道路等等图面元素的绘制之外,另外一
用大数据工具检索二十四史
Demo在做介绍之前,先展示一下我做出来的二十四史搜索主页。这个网站貌似需要科学上网,而且不支持手机登录。如果能看到登录页面的话,用户名是guest,密码是guestguest。24History24history.asia.gp项目是开源的,github地址是:quzhi1/ChineseHis