Spark SQL 性能优化再进一步 CBO 基于代价的优
原创文章,转载请务必将下面这段话置于文章开头处。本文转发自技术世界,原文链接http://www.jasongj.com/spark/cbo/本文所述内容均基于2018年9月17日Spark最新Release2.3.1版本。后续将持续更新SparkCBO背景上文SparkSQL内部原理中介绍的Opt
Spark SQL / Catalyst 内部原理与RBO
原创文章,转载请务必将下面这段话置于文章开头处。本文转发自技术世界,原文链接http://www.jasongj.com/spark/rbo/本文所述内容均基于2018年9月10日Spark最新Release2.3.1版本。后续将持续更新SparkSQL架构SparkSQL的整体架构如下图所示从上图
Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势
原创文章,始发自作者个人博客,转载请务必将下面这段话置于文章开头处。本文转发自技术世界,原文链接http://www.jasongj.com/spark/skew/1摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案,包括避免数据源倾斜,调整并行度,使用自定义Partition
2019 年云原生技术实践白皮书| 【技术研究报告】
总计20000+份,每年更新10000份行业报告圈子,扫码加入报告要点随着云原生技术理念的在行业内进一步的实践发展,云原生架构完成了IT架构在云计算时代的进化升级。以CI/CD、DevOps、微服务架构为代表的云原生技术以其高效稳定、快速响应的特点驱动引领企业的业务发展,帮助企业构建更加适用于云上的
云原生应用开发新体验:Kui
云原生(CloudNative)应用是伴随着Kubernetes应用范围的扩大,基于云模型而提出的一种概念。本文来介绍一个云原生应用开发的工具Kui,这是一款由IBM开源的工具,使用Electron提供GUI能力。KuiShelloffersanewdevelopmentexperienceforb
OAM 深入解读:OAM 为云原生应用带来哪些价值?
导读:OAM是阿里巴巴联合微软在社区推出的一款用于构建和交付云原生应用的标准规范,旨在通过全新的应用定义、运维、分发与交付模型,推动应用管理技术向“轻运维”的方向迈进,全力开启下一代云原生DevOps的技术革命。背景OAM是阿里巴巴联合微软在社区推出的一款用于构建和交付云原生应用的标准规范,之前我们
云原生存储和云存储有什么区别?
作者|李鹏(壮怀)阿里云智能事业群高级技术专家导读:新的企业负载/智能工作负载容器化、迁云、存储方面遇到的性能、弹性、高可用、加密、隔离、可观测性以及生命周期等方面的问题,不但需要存储产品层次的改进,更需要在云原生的控制/数据平面的改进,推进云原生存储和云存储的演进。本文将介绍一下问题场景,探讨可行
2020 云原生 7 大趋势预测
(作者排名不分先后)作者:叔同、谷朴、不瞋、育睿、许晓斌至简、典违、鲁直、改之、小剑、汤志敏白慕、循环、文卿,喽哥、水鸟、神秀过去的几年,是云原生技术和理念得到广泛接受的几年。在这个快速发展的领域,预测未来显得尤其困难,但是我们又有着一些坚定的信念,相信以开放创新为支撑的云原生领域会持续重塑软件生命
大势已来:阿里云梭哈云原生
云原生是什么?技术圈总是在不停地蹦各种新名词。也不知道从什么时候开始,人们慢慢不怎么提“云计算”这个名词了,而是频繁提到一个新名词“云原生”,好像不这么提就不足以体现云计算原住民的身份。不过,要真的问什么是“云原生”,其实很多人都说不太清楚。随着云原生生态如火如荼的发展,甚至连CNCF官方都觉得有必
腾讯大牛深入浅出详解云原生
作者:王珏,腾讯云数据库高级研发工程师,主要负责腾讯云MySQL数据库、数据库中台等研发工作。本文介绍目前业界非常火热的“云原生(CloudNative)”相关知识结构,包括微服务、DevOps、持续交付、服务网格、Serverless等相关知识点。“云原生”通过提供一套完整的技术体系和方法论来指导
CNCF 官方大使张磊:什么是云原生?
作者|张磊阿里云容器平台高级技术专家,CNCF官方大使编者说:从2015年Google牵头成立CNCF以来,云原生技术开始进入公众的视线并取得快速的发展,到2018年包括Google、AWS、Azure、AlibabaCloud等大型云计算供应商都加入了云原生基金会CNCF,云原生技术也从原来的应用
同志,云原生了解一下?
阿里妹导读:伴随云计算的滚滚浪潮,云原生(CloudNative)的概念应运而生,云原生很火,火得一塌糊涂,都9102年了,作为技术人,如果你还不懂云原生,那真的out了。大家言必称云原生,上网搜索云原生,却没有统一的解释,今天,阿里巴巴高级技术专家酱油(花名)带你一探究竟。尽管随处可闻云原生,却鲜
你懂什么是云原生吗?
简介:我看很多文章都在聊“云原生”,嘴上一直唠叨到这,那么你真得懂得什么是云原生吗!?她是在一个怎么样的背景下被提出来的?云原生这词在这几年突然火了,在很多人还不了解她是什么的时候频频被她刷屏。所以我经常说技术人是一个容易焦虑的群体,每天被一堆新的概念拉着走,扯着学。新语言多,新概念多,新技术多,没
微服务、容器、云原生、Kubernetes、SOA、Paas平台、Devops 之间的关系
作者:lixuefeng转载链接:https://zhuanlan.zhihu.com/p/74483850著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。--------------------------------------------------------------
Kubernetes与云原生应用概览
本文深入浅出,高屋建瓴,没有深入到具体细节,主要是为了给初次接触kubernetes的小白扫盲,文章中同时给出了参考链接可供读者探究背后的技术细节。原文首发于jimmysong.io:Kubernetes与云原生应用概览概览本文主要包括如下内容:从云计算到微服务再到云原生计算云计算介绍微服务介绍云原
2019,云原生技术的商业化元年
在整个2018年,有很多关于数字化转型的讨论。以云、大数据、人工智能、物联网和区块链等数字技术所驱动的企业数字化转型,最终的目标是什么?这就是云原生的数字企业,或者称为数字原生企业。简单的理解,数字原生企业,其核心竞争力在于大规模的云软件的开发、运维及运营能力。互联网公司和共享经济平台企业是数字原生
2019,云原生技术的商业化元年
在整个2018年,有很多关于数字化转型的讨论。以云、大数据、人工智能、物联网和区块链等数字技术所驱动的企业数字化转型,最终的目标是什么?这就是云原生的数字企业,或者称为数字原生企业。简单的理解,数字原生企业,其核心竞争力在于大规模的云软件的开发、运维及运营能力。互联网公司和共享经济平台企业是数字原生
2019,云原生技术的商业化元年
在整个2018年,有很多关于数字化转型的讨论。以云、大数据、人工智能、物联网和区块链等数字技术所驱动的企业数字化转型,最终的目标是什么?这就是云原生的数字企业,或者称为数字原生企业。简单的理解,数字原生企业,其核心竞争力在于大规模的云软件的开发、运维及运营能力。互联网公司和共享经济平台企业是数字原生
云原生应用 Kubernetes 监控与弹性实践
前言云原生应用的设计理念已经被越来越多的开发者接受与认可,而Kubernetes做为云原生的标准接口实现,已经成为了整个stack的中心,云服务的能力可以通过CloudProvider、CRDController、Operator等等的方式从Kubernetes的标准接口向业务层透出。开发者可以基于
云原生应用初探
What云原生应用,就是大多数传统的应用,不做任何改动,都可以在云平台运行起来,只要云平台支持这个传统应用所运行的计算机架构和操作系统。Why发挥云的弹性、动态调度、自动伸缩How容器微服务自动化:可持续交付(DevOps)WhoCNCF(云原生计算基金会)