ITPub博客

10月17日的ApacheKylinMeetup上，来自中通快递的高级数据工程师王成龙带来了题为《ApacheKylin在中通的实践》的分享。内容涵盖：OLAP引擎在中通的发展历程；为什么选择ApacheKylin；ApacheKylin在中通的实践经验；未来规划。以下是分享全文。王成龙，2016年

前言ApacheKylin采用“预计算”的模式，用户只需要提前定义好查询维度，Kylin将帮助我们进行计算，并将结果存储到HBase中，为海量数据的查询和分析提供亚秒级返回，是一种典型的“空间换时间”的解决方案。Kylin架构Hadoop/Hive：Kylin是一个MOLAP系统，将hive中的数据

发展历程2016年9月开始，一点资讯选择了综合性能优秀的Druid来承接大数据部门、算法部门和广告部门的多维分析查询需求。2017年9月，接入刚刚开源的Doris，承接明细查询和SQL分析业务。至今年5月，随着业务增长和数据积累，冷数据占比增高，机器利用率降低。大部分数据月查询次数不超过1次，却需要

从2016年开始，美团到店餐饮技术团队就开始使用ApacheKylin作为OLAP引擎，但是随着业务的高速发展，在构建和查询层面都出现了效率问题。于是，技术团队从原理解读开始，然后对过程进行层层拆解，并制定了由点及面的实施路线。本文总结了一些经验和心得，希望能够帮助业界

Lovefield是一个JavaScript库。它为希望利用关系型数据库优点的Web开发人员提供了一个类似SQL的查询引擎。\\早在2010年，Chrome4就包含了WebSQLDatabaseAPI，尝试向Web开发人员提供一种SQL数据存储。Chrome的持久化存储是SQLite。Safari开

今日登陆www.percona.com/blog网站发现PerconaserverforMySQL8.0于2018年12月21日发布了正式版本，标志着MySQL8.0版本可以在生产环境投入使用。同时链接文章说明xtrabackup于2018年12月10日也发布了正式版本，而xtrabackup8.0

使用MYSQL的DBER们都对大事务和关于BINLOG的expire_log_days或者更新的Binlog_expire_logs_seconds(MYSQL8)中的管控BINLOG的保留问题及管控或多或少都有一丝的不确定问题1到底BINLOG保留的天数和实际存储了多少BINLOGSIZE有没有直

什么是Comdb2?一个基于优化并发控制技术的集群式关系数据库，面向大型数据，主要特色是1.提供了多种隔离等级，包括快照和序列化隔离，后者使得Comdb2能从任何节点读取当前数据。2.全面的事务支持3.支持Lua方言4.提供了关系数据模型5.提供了publisher2subscriber消息传递队列

描述：目前，在lmpala中，有多种方法可以使存储在catalog中的表元数据失效或刷新。Catalog中的对象可以根据基于使用的方法(invalidate_tables_timeout_s)或在存在GC压力(invalidate_tables_on_memory_pressure)时失效(IMPA

文章目录1．Impala基本介绍2．Impala与Hive关系3．Impala与Hive异同1.Impala使用的优化技术2.执行计划3.数据流4．内存使用5．调度6．容错7．适用面4．Impala架构1．Impalad2．ImpalaStateStore3．CLI4．Catalogd（目录）5．I

lmpala的安装部署1.安装前提集群提前安装好hadoop，hive。hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。2.上传压缩包节点内存要大于10个G

Hive可以让你在Hadoop上使用SQL，但是在分布式系统上优化SQL则有所不同。这里是让你可以轻松驾驭Hive的12个技巧。Hive并不是关系型数据库（RDBMS），但是它大多数时候都表现得像是一个关系型数据库一样，它有表、可以运行SQL、也支持JDBC和ODBC。这种表现既有好的一面，也有不好

Hive可以让你在Hadoop上使用SQL，但是在分布系统上的SQL的调优是不同的。这里有12个技巧能够帮助你。Hive并不是一个关系型数据库，但它假装是大部分情况中的一个。它有表格，运行SQL，并且支持JDBC和ODBC。这个启示有利及不利的消息：Hive不运行查询数据库方式。这是一个很长的故事，

ApacheHive2.1已于几个月前发布，它引入了内存计算，这使得Hive计算性能得到极大提升，这将会影响SQLOnHadoop目前的竞争局面。据测试，其性能提高约26倍。ApacheHive2.1新引入了6大性能，包括：（1）LLAP。ApacheHive2.0引入了LLAP（LiveLongA

ApacheHiveMSCK(自动添加分区)ApacheHiveMSCK修复Hive表分区⊙一起学Hive——使用MSCK命令修复Hive分区最近在使用Hive的过程中，在备份数据时，经常会使用cp或mv命令来拷贝数据，将数据拷贝到我们新建备份表的目录下面，如果不是分区表，则上面的操作之后，新建的备

ApacheHiveWith(数据查询到内存)ApacheHiveWith⊙hive可以通过with查询来提高查询性能，因为先通过with语法可以将数据查询到内存，然后后面查询可以直接使用。With案例EG1:withq1as（selectkeyfroma2data.testwherekey=‘66

ApacheHiveSQRT(经纬度)ApacheHiveSQRT某天接到一个需求，如何通过一系列的店铺位置，来提取一些数据：GPS：经纬度信息有心无力码字的我，一致遵循着，没有什么事情是一个SQL解决不了的问题，那就两个。方案如下SQL语句查询经纬度范围指定一个经纬度，给定一个范围值(单位:千米)

ApacheHiveSelect(数据查询)ApacheHive数据查询查询SELECT...FROM语句SELECT是SQL的射影算子,FROM标识了从哪个表查询CREATETABLEemployees(salaryFLOAT,subordinatesARRY,dedu

Hive是用于大数据集查询的好工具——特别是当数据集需要全表扫描时。但用户经常需要对某个列的值进行过滤，这时

YARN是一种软件重写，可将MapReduce的资源管理和调度功能与数据处理组件分离开来，从而使Hadoop支持更多样化的处理方法和更广泛的应用程序。例如，Hadoop集群现在可以与MapReduce批处理作业同时运行交互式查询和流数据应用程序。接下来，我们