ITPub博客

使用 Amazon Aurora Auto Scaling 扩展 Aurora 副本

在2017年5月芝加哥举办的世界顶级数据库会议SIGMOD/PODS上，作为全球最大的公有云服务提供商，Amazon首次系统的总结了新一代云端关系数据库Aurora的设计实现。Aurora是Amazon在2014 AWS re:Invent大会上推出的一款全新关系数据库，提供商业级的服务可用性和数据可靠性，相比MySQL有5倍的性能提升，并基于RDS 提供自动化运维和管理；

一个目标：容器操作；两地三中心；四层服务发现；五种Pod共享资源；六个CNI常用插件；七层负载均衡；八种隔离维度；九个网络模型原则；十类IP地址；百级产品线；千级物理机；万级容器；相如无亿，K8s有亿：亿级日服务人次。一个目标：容器操作Kubernetes（k8s）是自动化容器操作的开源平台。这些容

将数据从一种数据库迁移到另一种数据库通常都非常具有挑战性，特别是考虑到数据一致性、应用停机时间、以及源和目标数据库在设计上的差异性等因素。这个过程中，运维人员通常都希望借助于专门的数据迁移（复制）工具来降低操作的复杂性和对业务的影响。AWS数据迁移服务（AWS DMS）可帮助AWS用户快速、安全、无缝地将MongoDB、Oracle、MySQL和Microsoft SQL Server等数据库迁移

Amazon Aurora MySQL 数据库配置最佳实践

openTSDB （rpm）安装 + Grafana 视图

　我们发现用opentsdb向hbase写数据之后，磁盘占用率飙升得很快，我们存的业务数据只用保存一个月的即可，了解hbase的TTL机制可以清除相关表、相关行的超时数据，之前在数据备份时，我介绍了，opentsdb在hbase里面存储的数据主要有4个表，tsdb 、tsdb-meta 、tsdb-tree 、tsdb-uid。其中tsdb是元数据表，存储的内容最多，由此，清除数据主要清除tsdb

HBase备份还原OpenTSDB数据之Export/Import（增量+全量）

找了一下开源时序数据库，相对门槛较低的有openTSDB，还可以看源码，InfluxDB开源了单机版，集群版是闭源的。

OpenTSDB的官网上介绍了如何将OpenTSDB源码导入eclipse，官方链接，但步骤超级繁琐，还有一个简便方法，下面以导入OpenTSDB2.0.0为例。

OpenTSDB 写入数据

摘要： 本篇文章会详细讲解OpenTSDB的表结构设计，在理解它的表结构设计的同时，分析其采取该设计的深层次原因以及优缺点。它的表结构设计完全贴合HBase的存储模型，而表格存储（TableStore、原OTS）与HBase有类似的存储模型，理解透OpenTSDB的表结构设计后，我们也能够对这类数据库的存储

由于OpenTSDB没有支持Java的SDK进行调用，所以基于Java开发OpenTSDB的调用将要依靠HTTP请求的方式进行。

随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。

开源监控系统OpenTSDB，用hbase存储所有的时序（无须 采样）来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系 统里。OpenTSDB可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。

OpenTSDB 生产应用与思考（转）

背景过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了，寂寞哥说之前的TSDB集群运行了两年，4台同样配置的机器，目前hdfs才用了40%，所以前期先用着这三台机器，不够再加。于是我只好默默地搭好了CDH5、openTSDB(

基于opentsdb-2.4.0版本，本篇开启opentsdb探索之路(主要涉及读写特性以及一些其他细节)，下一篇将开启opentsdb优化之路——性能优化思路与建议(总结当前痛点问题、优化思路和解决方案，同时也欢迎朋友提出更好的思路与方案)。

QueryingorReadingDataOpenTSDBoffersanumberofmeanstoextractdatasuchasCLItools,anHTTPAPIandasaGnuPlotgraph.QueryingwithOpenTSDB'stagbasedsystemcanbeabit

OpenTSDB简单使用