ITPub博客

本文已收录于Github仓库：《大数据成神之路》地址：https://github.com/wangzhiwubigdata/God-Of-BigData研发背景今天随着移动互联网、物联网、大数据、AI等技术的快速发展，数据已成为所有这些技术

作者|许湘楠编辑|VincentAI前线导读：“卷皮网”是一家专注高性价比商品的移动电商，日活跃高达1000多万，随着卷皮网的快速发展，数据规模快速增长，集群数据存储量成指数倍增大，服务器规模达到100+台，与此同时公司的运营成员急剧增加，数据需求也随着业务的发展落地不断增长，如统计分析、运营报表、

康凯森，美团点评大数据工程师，ApacheKylincommiter，目前主要负责ApacheKylin在美团点评的平台化建设。问题背景本文记录了我将ApacheKylin超高基数的精确去重指标查询提速数十倍的过程，大家有任何建议或者疑问欢迎讨论。某业务方的cube有12个维度，35个指标，其中13

作者|王龙帅、张如松编辑|Emily作者介绍：链家网工程师，大数据架构团队成员，目前主要负责OLAP平台建设及大数据应用拓展。前言伴随链家业务线的拓宽和发展，以及数据生态的建设，数据规模快速增长。从2015年大数据部门成立至今，集群数据存储量为9PB，服务器规模为200台+。与此同时，数据需求也随着

在近期的ApacheKylinMeetup上，携程大数据资深研发工程师张巍分享了Kylin在携程的应用。本文为大家介绍携程当前的架构以及使用Kylin过程中的挑战与心得。背景1早期架构下图是携程早期的OLAP结构，比较简单。有两个应用，一个是BI分析报表工具，另一个是自助分析的Adhoc平台，下层主

锋哥说很多同学包括我都没有机会迁移机房的服务(虽然我扛过机房的服务器...)，但没吃过猪肉也得见见猪跑。本文的核心不是为了介绍服务迁移的技术，而是整个迁移过程中思考

作者简介LisaLi，在eBay中国研发中心大数据平台部门担任研发主管。带领的团队主要负责SQLonHadoop的方案，给使用SQL查询语言的数据分析师在开源的Hadoop数据平台上提供更加快速稳定的数据处理和查询体验。主要包括Kylin和Spark两个软件产品的深度开发和服务运维工作。2020年1

近期，ApacheKylin5周年在线庆典顺利结束，来自汽车之家的实时计算平台负责人邸星星老师为大家介绍了ApacheKylin在汽车之家的升级历程，以及在实时多维分析方面的实践，最后也展望了对Kylin4.0版本的期待。会议完整视频以下是邸星星老师的现场分享实录。ApacheKylin在汽车之家的

10月17日的ApacheKylinMeetup上，来自中通快递的高级数据工程师王成龙带来了题为《ApacheKylin在中通的实践》的分享。内容涵盖：OLAP引擎在中通的发展历程；为什么选择ApacheKylin；ApacheKylin在中通的实践经验；未来规划。以下是分享全文。王成龙，2016年

前言ApacheKylin采用“预计算”的模式，用户只需要提前定义好查询维度，Kylin将帮助我们进行计算，并将结果存储到HBase中，为海量数据的查询和分析提供亚秒级返回，是一种典型的“空间换时间”的解决方案。Kylin架构Hadoop/Hive：Kylin是一个MOLAP系统，将hive中的数据

发展历程2016年9月开始，一点资讯选择了综合性能优秀的Druid来承接大数据部门、算法部门和广告部门的多维分析查询需求。2017年9月，接入刚刚开源的Doris，承接明细查询和SQL分析业务。至今年5月，随着业务增长和数据积累，冷数据占比增高，机器利用率降低。大部分数据月查询次数不超过1次，却需要

从2016年开始，美团到店餐饮技术团队就开始使用ApacheKylin作为OLAP引擎，但是随着业务的高速发展，在构建和查询层面都出现了效率问题。于是，技术团队从原理解读开始，然后对过程进行层层拆解，并制定了由点及面的实施路线。本文总结了一些经验和心得，希望能够帮助业界

Lovefield是一个JavaScript库。它为希望利用关系型数据库优点的Web开发人员提供了一个类似SQL的查询引擎。\\早在2010年，Chrome4就包含了WebSQLDatabaseAPI，尝试向Web开发人员提供一种SQL数据存储。Chrome的持久化存储是SQLite。Safari开

今日登陆www.percona.com/blog网站发现PerconaserverforMySQL8.0于2018年12月21日发布了正式版本，标志着MySQL8.0版本可以在生产环境投入使用。同时链接文章说明xtrabackup于2018年12月10日也发布了正式版本，而xtrabackup8.0

使用MYSQL的DBER们都对大事务和关于BINLOG的expire_log_days或者更新的Binlog_expire_logs_seconds(MYSQL8)中的管控BINLOG的保留问题及管控或多或少都有一丝的不确定问题1到底BINLOG保留的天数和实际存储了多少BINLOGSIZE有没有直

什么是Comdb2?一个基于优化并发控制技术的集群式关系数据库，面向大型数据，主要特色是1.提供了多种隔离等级，包括快照和序列化隔离，后者使得Comdb2能从任何节点读取当前数据。2.全面的事务支持3.支持Lua方言4.提供了关系数据模型5.提供了publisher2subscriber消息传递队列

描述：目前，在lmpala中，有多种方法可以使存储在catalog中的表元数据失效或刷新。Catalog中的对象可以根据基于使用的方法(invalidate_tables_timeout_s)或在存在GC压力(invalidate_tables_on_memory_pressure)时失效(IMPA

文章目录1．Impala基本介绍2．Impala与Hive关系3．Impala与Hive异同1.Impala使用的优化技术2.执行计划3.数据流4．内存使用5．调度6．容错7．适用面4．Impala架构1．Impalad2．ImpalaStateStore3．CLI4．Catalogd（目录）5．I

lmpala的安装部署1.安装前提集群提前安装好hadoop，hive。hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。2.上传压缩包节点内存要大于10个G

Hive可以让你在Hadoop上使用SQL，但是在分布式系统上优化SQL则有所不同。这里是让你可以轻松驾驭Hive的12个技巧。Hive并不是关系型数据库（RDBMS），但是它大多数时候都表现得像是一个关系型数据库一样，它有表、可以运行SQL、也支持JDBC和ODBC。这种表现既有好的一面，也有不好