-
编辑 删除
腾讯万亿级 Elasticsearch 技术解密
作者：johngqjiang，腾讯TEG云架构平台部研发工程师原文：网页链接Elasticsearch（ES）作为开源首选的分布式搜索分析引擎，通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求，大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用ES，
-
编辑 删除
Logstash学习笔记
TableofContents背景安装简单使用示例1.命令行输入内容然后让logstash输出内容2.命令行输入内容然后让logstash以某种格式输出3.命令行输入内容然后让logstash使用Elasticsearch存储4.使用过滤器解析日志存到es中5.从文件获取日志保存到es中logsta
-
编辑 删除
Elasticsearch入门，看这篇就够了
我将会从下面四个方面去介绍Elasticsearch。目录一、Elasticsearch是什么？二、Elasticsearch全文检索的原理是什么？三、Elasticsearch的核心数据类型有哪些？四、怎么判断搜索准确性？一、Elasticsearch是什么？Elasticsearch是一个实时的
-
编辑 删除
ElasticSearch 全文搜索精确匹配中文短语
这里针对的是已分词字段的全文搜索，不是针对未分词字段的term搜索。全文搜索时要实现精确匹配，需要用到match_phrase语句。建索引时必须分词，分词操作会把一个字符串拆分成一系列token，每个token有三个位置参数：start_offset，end_offset，position。中文分词
-
编辑 删除
Elasticsearch 5.0.0集群安装
ElasticSearch目前最新的稳定版本是：Elasticsearch2.3.5(2016-08)，5.0.0还是属于alpha版本，目前各团队正在紧张的开发测试中，每天都有新的功能和改进。ES从2.x版本直接升级到5.x是为了对于kibana的版本号，但是在功能特性上也有很大的改进，详情请参考
-
编辑 删除
Elasticsearch：深入集群优化
为打造一个高查询和高索引吞吐量、高稳定性的Elasticsearch集群，相信以下几点配置优化都很重要。1、设置Java堆大小-Xmx和-Xms设置成同样的值，例如16G不宜超过物理内存的一半，比如服务器是32G，Heap大小可以设置为16G，官方说了，不要设置太大超过32G，可能导致长GC。2、索
-
编辑 删除
新一代海量数据搜索引擎 TurboSearch 来了
一.TurboSearch简介AI平台部多年一直在搜索领域进行深耕和积累，继搜搜网页搜索之后，陆续服务于微信搜一搜（公众号文章、朋友圈、视频）、应用宝搜索、地图搜索、音乐搜索、视频搜索、手Q、QQ群等精品垂直搜索业务，以及云搜中小数据搜索业务。从网页搜索继承下来的搜索系统，经过多年的需求迭代，越来越
-
编辑 删除
新一代海量数据搜索引擎 TurboSearch 来了
一.TurboSearch简介AI平台部多年一直在搜索领域进行深耕和积累，继搜搜网页搜索之后，陆续服务于微信搜一搜（公众号文章、朋友圈、视频）、应用宝搜索、地图搜索、音乐搜索、视频搜索、手Q、QQ群等精品垂直搜索业务，以及云搜中小数据搜索业务。从网页搜索继承下来的搜索系统，经过多年的需求迭代，越来越
-
编辑 删除
基于word2vec和Elasticsearch实现个性化搜索
在word2vec学习小记一文中我们曾经学习了word2vec这个工具，它基于神经网络语言模型并在其基础上进行优化，最终能获取词向量和语言模型。在我们的商品搜索系统里，采用了word2vec的方式来计算用户向量和商品向量，并通过Elasticsearch的function_score评分机制和自定义
-
编辑 删除
日志分析的模式发现功能实现(1)
模式发现，几乎已经快成为日志分析产品中标配的机器学习功能。当然各家有各家的实现方式。准备开启一个系列文章，分别介绍几家主要的产品里该功能的做法，以及可行的类似效果的实现方式。当然，肯定不是人家真正的实现方式，毕竟我可不是偷代码的……作为系列文章的开始，还是要给不清楚这个功能的读者先科普一下这个功能的
-
编辑 删除
如何使用Spark快速将数据写入Elasticsearch
如何使用Spark快速将数据写入Elasticsearch说到数据写入Elasticsearch，最先想到的肯定是Logstash。Logstash因为其简单上手、可扩展、可伸缩等优点被广大用户接受。但是尺有所短，寸有所长，Logstash肯定也有它无法适用的应用场景，比如：海量数据ETL海量数据聚
-
编辑 删除
Elasticsearch在日志分析领域应用和运维实践
主要讲述了：基于ELK+Kafka的日志分析系统Elasticsearch优化经验Elasticsearch运维实践ElasticSearch介绍分布式实时分析搜索引擎，优点包括：查询近实时内存消耗小，搜索速度快可扩展性强高可用数据结构FST(FiniteStateTransducer)这种数据结构
-
编辑 删除
Docker 搭建实时日志平台 ELK
ELK图文简介最终效果预览ELK搭建流程1、规范化SpringBoot应用的日志请参考《SpringBootLog4j2日志性能之巅》，此处为了收集、处理日志信息，所以修改下日志的Pattern，将<Propertyname="LOG_PATTERN">%clr{%d{yyyy-MM-d
-
编辑 删除
浅谈使用ElasticSearch实现全文检索
现如今，无论是互联网信息还是企业内部每天产生的信息，都在以指数级增长，对于企业内部，每天发生的大量数据，尤其是非结构化数据中，如何能快速查找到对企业内部有用的信息，成为每个公司开始关注的重点。前段时间，笔者就接到类似的需求，某大型保险企业，希望能够将每天发生在企业内部的非结构化数据进行存储与检索，方
-
编辑 删除
从DSL扯开去
智能运维平台的内核驱动力来自数据（日志和指标）分析。从广义范畴来说，所有可以用作数据处理的软件系统，都可以用来构建这个平台。从远古时代的awstats到piwik，到人手一个的hadoop集群（确实没有更抽象具体的运维向子产品），到目前最流行的ELK，包括新近的基于PostgreSQL搞的Times
-
编辑 删除
Elasticsearch技术研讨
由于对Elasticsearch感兴趣的朋友很多，所以特地将Elasticsearch相关的文章独立一个专栏更新。感兴趣的朋请移步专栏『Elasticsearch技术研讨』，本专栏之后不再更新Elasticsearch相关文章。目前已发布文章包括：胡一：从Elasticsearch来看分布式系统架构
-
编辑 删除
百亿级实时查询优化实战，让你的Elasticsearch飞起来！
开头小广告：欢迎关注我的专栏：里面不定期分享Java架构技术知识点及解析，还会不断更新的BATJ面试专题，欢迎大家前来探讨交流，如有好的文章也欢迎投稿。以架构赢天下zhuanlan.zhihu.com最近的一个项目是风控过程数据实时统计分析和聚合的一个OLAP分析监控平台，日流量峰值在10到12亿
-
编辑 删除
Elastic Stack 5.0升级踩坑记
27号收到了官方发的ElasticStack5.0正式发布的邮件，我就去踩坑了。先说结论，做好测试，谨慎操作。•ES5简介这次是个大升级，统一了全家桶版本号，升级了Lucene，发布了对于官方来说非常重要的X-Pack，等等。详见ElasticStack5.0.0Released、Breakingc
-
编辑 删除
elasticsearch与solr比较
solr：优点1、Solr有一个更大、更成熟的用户、开发和贡献者社区。2、支持添加多种格式的索引，如：HTML、PDF、微软Office系列软件格式以及JSON、XML、CSV等纯文本格式。3、Solr比较成熟、稳定。4、不考虑建索引的同时进行搜索，速度更快。缺点建立索引时，搜索效率下降，实时索引搜
-
编辑 删除
ELK + kafka 日志方案
概述本文介绍使用ELK（elasticsearch、logstash、kibana）+kafka来搭建一个日志系统。主要演示使用springaop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了
