ITPub博客

Spark自从2010年面世，到2020年已经经过十年的发展，现在已经发展为大数据批计算的首选引擎，在滴滴Spark是在2015年便开始落地使用，不过主要使用的场景是更多在数据挖掘和机器学习方向，对于数仓SQL方向，主要仍以Hive SQL为主。

引言：把基于mapreduce的离线hiveSQL任务迁移到sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内2000左右的hivesql任务迁移到了sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。

Spark SQL也可以通过设置参数来使其符合ANSI标准（结构化查询语言（SQL）是用于访问和管理数据库的数据库管理员（DBA）的标准语言），通过设置spark.sql.ansi.enabled=’true’（默认值是false）选项来控制spark sql是否符合ANSI标准，当spark.sql.storeAssignmentPolicy（默认值为ANSI）选项为ANSI时，spark s

Spark SQL编程

信也科技的数据团队从2018年开始，尝试使用Spark SQL替代Hive执行离线任务。在不影响生产任务的前提下，最近四个多月做了集中迁移， Spark SQL任务占比提升至30%，消耗CPU和Memory资源占比不及总集群资源的1/4，平均任务耗时减少58%，任务完成时间提前超过2.5小时，核心表SLA达成率显著提升。在整个Spark SQL迁移过程中，不仅积累了两个计算引擎的差异问题和迁移流程

正好最近跑一些spark sql ，重新温习了遍有关联合查询的一些底层实现，参考这位博主的分享Spark SQL 之 Join 实现 Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流，作为开发者，我们有必要了解Join在Spark中是如何组织运行的。

为了优化Spark应用提升运行速度，一般会把数据缓存到内存 或者 开启一些试验特性进行优化。本篇就来说说Spark SQL中的一些优化参数。

Spark SQL 的 Catalyst

Spark SQL 与 Presto SQL 对比

Spark SQL 允许 Spark 执行用SQL, HiveQL或者Scala表示的关系查询。这个模块的核心是一个新类型的 RDD-SchemaRDD。

Spark SQL是用于结构化数据处理的Spark模块。与Spark RDD API不同，Spark SQL提供的接口可以为Spark提供更多的数据及其计算时的结构信息。Spark使用这些额外的信息实现一些优化。用户可以使用SQL或者Dataset API对SparkSQL进行操作。由于它和用户使用的API或者开发语言无关，这意味着开发人员可以在多个API中轻松地切换

关于Hypersql源码的一点修改与总结

HyperSQL 链接参数中文件的路径

HyperSQL 使用手册

最近调研HyperSQL，把整理的资料记录一下，并分享给大家，由于时间略紧，内容肯定有遗漏和谬误的地方，欢迎大家指正。本人也会持续的修改更新。

最近调研HyperSQL，把整理的资料记录一下，并分享给大家，由于时间略紧，内容肯定有遗漏和谬误的地方，欢迎大家指正。本人也会持续的修改更新。

最近调研HyperSQL，把整理的资料记录一下，并分享给大家，由于时间略紧，内容肯定有遗漏和谬误的地方，欢迎大家指正。本人也会持续的修改更新。

最近调研HyperSQL，把整理的资料记录一下，并分享给大家，由于时间略紧，内容肯定有遗漏和谬误的地方，欢迎大家指正。本人也会持续的修改更新。

Quantum DB（鲲腾量子安全数据库）是一款基于量子密钥分发协议的、国产化、企业级、分布式关系型数据库产品，应用量子保密传输、计算、存储安全技术构建的具备无条件安全的量子保密通信数据库平台。 Quantum DB 具备弹性扩展、高并发、高可用和高安全特点，支持 MySQL等多种标准 SQL 访问形式，适用在电子政务、金融及商企领域，满足数据高并发、高安全的应用需求和在复杂物联网大数据系统中使用

ClickHouse原理及使用