ITPub博客

elasticsearch是什么不再赘述。本文希望通过对ES源代码进行一些简单的分析，目的在于打通整个结构，了解整个运行方式，以及如果我需要对源代码进行简单的调整和修改我需要从哪里入手，抛砖引玉。本文选择了elasticsearch2.3.5的版本来进行分析调试，适用于2.x的版本。

Elasticsearch 的发现模块应该算是保证Elasticsearch启动并正常工作最基本的模块了，可以这么理解，如果启动一个实例后，它连最基本的加入一个“组织”都失败的话那么它将无法提供服务。

双十一来临，大家应该要对所有索引都做做健康检查了，由于最近压力上不去，所以盯上了Query Cache，由于之前Query Cache没有怎么注意，一直用的是默认配置，所以导致我发现cache的效率一直没上去。如下图，初步一看命中率50%+， Memory size 也没伤到预订大小，这里先不逐个字段解释，下面就以问答的形式来介绍一下这个query cache。

High cardinality下对持续写入的Elasticsearch索引进行聚合查询的性能优化

Amazon Redshift 集群管理指南

目前我们已经将两台 Web 服务器放在两个不同的可用区，并在 Web 服务器前放置一个应用负载均衡器 ALB，接着我们把后端的数据库架设起来，如图 1 所示，今天要介绍的是 Amazon 的关系数据库 Amazon Relational Database Service 简称 Amazon RDS 。

aws redshift This article gives you an overview of configuring the AWS Redshift cluster to use it from a locally installed IDE or tools. 本文为您概述了如何配置AWS Redshift集群以通过本地安装的IDE或工具使用它。

Amazon Kinesis 可让您轻松收集、处理和分析实时流数据，以便您及时获得见解并对新信息快速做出响应。Amazon Kinesis 提供多种核心功能，可以经济高效地处理任意规模的流数据，同时具有很高的灵活性，让您可以选择最符合应用程序需求的工具。借助 Amazon Kinesis，您可以获取视频、音频、应用程序日志和网站点击流等实时数据，也可以获取用于机器学习、分析和其他应用程序的 IoT

下午发现redshift集群已经没有什么空间了。删掉一些不须要的暂时表也仅仅降到86%左右，为了能放下这两天的数据必须扩容了在官方docs中，有两种扩容方案1.在确定能非常快扩容完毕的情况或者init时候适合方案：http://docs.aws.amazon.com/redshift/latest/

AWS Redshift 采坑记

aws redshift This article gives you an overview of AWS Redshift and describes the method of creating a Redshift Cluster step-by-step. 本文概述了AWS Redshift，并逐步介绍了创建Redshift集群的方法。

一直在使用Power BI连接至MongoDB中，但效果一直不是太理想，今天使用另一种方法，将MongoDB中的数据通过Azure Data Factory转入Amazon Redshift中，而在Power BI中直接连接至Amazon Redshift，通过该过程的记录，掌握到Power BI的数据连接及数据关联技术

Amazon Redshift 中的数据迁移到MaxCompute中经常需要先卸载到S3中，再到阿里云对象存储OSS中，大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。

数据仓库系统架构

此博文显示了如何使用 Amazon S3 中的示例数据集设置跨账户 Amazon Redshift COPY 和 Spectrum 查询的逐步演练。示例数据集使用 AWS KMS 托管的密钥 (SSE-KMS) 进行静态加密。

一家大型欧洲、中东和非洲 (EMEA) 公司最近决定将其本地 IBM Netezza 数据仓库迁移到 Amazon Redshift。考虑到数据量（270TB 未压缩数据和超过 27000 个表格）、使用此数据的互连系统数量（超过 4500 个业务流程）及零停机时间要求，我们认识到此迁移项目将是一项挑战

Amazon Redshift 是最受欢迎和速度最快的云数据仓库。它具有一个控制台，可供管理员创建、配置和管理 Amazon Redshift 集群。新的 Amazon Redshift 控制台可实现用户界面现代化，并添加了多个功能来改善对集群以及集群上运行的工作负载的管理。

DataSunrise ，用他们自己的话说：DataSunrise 是一家数据库安全软件公司，提供广泛的安全解决方案，包括数据屏蔽（动态和静态屏蔽）、活动监控、数据库防火墙和各种数据库的敏感数据发现。目标是保护数据库免受外部和内部威胁和漏洞的侵害。

Amazon Redshift 是云中完全托管的、PB 级的数据仓库服务，可借助与您今天所用相同的基于 SQL 的工具和商业智能应用程序，提供快速查询性能。许多客户还喜欢将 Amazon Redshift 用作提取、转换和加载 (ETL) 引擎，以使用现有的 SQL 开发人员技能集，快速迁移预先存在的基于 SQL 的 ETL 脚本，并且由于 Amazon Redshift 完全兼容ACID，作为合

Amazon 始终以满足客户需求为工作重点。客户强烈要求希望能在 Amazon Redshift 中使用存储过程，以便更轻松地从原有的本地数据仓库迁移现有工作负载。 为实现这一主要目标，AWS 选择实施了 PL/pqSQL 存储过程以最大程度地兼容现有的程序并简化迁移。在本博文中，我们将讨论如何以及在什么情况下可以使用存储过程提高操作效率和安全性。