海胜专访--MaxCompute 与大数据查询引擎的技术和故事
摘要:在2019大数据技术公开课第一季《技术人生专访》中,阿里巴巴云计算平台高级技术专家苑海胜为大家分享了《MaxCompute 与大数据查询引擎的技术和故事》,主要介绍了MaxCompute与MPP Database的异同点,分布式系统上Join的实现,且详细讲解了MaxCompute针对Join和聚合引入的Hash Clustering Table和Range Clustering Table
阿里云王广芳:5G时代,我们需要怎样的边缘计算?
7月24日阿里云峰会开发者大会的IT基础设施云化专场中,阿里云边缘计算高级技术专家王广芳进行了边缘节点服务重大升级发布,同时与现场观众一同探讨了5G时代边缘计算的思考与技术实践。5G时代,我们需要怎样的边缘计算?随着5G第一批牌照的发放完成,海量的终端设备连接到网络里来,数据经过网络的传输,做计算和处理,低延时、大流量、大连接的业务特点对网络和计算能力的挑战非常大,传统的云、端架构不足以支撑业务发
国内首个全域边缘节点服务发布,阿里云助力企业把握5G机遇
7月24日,阿里云峰会开发者大会在上海世博中心举办。作为2019年首场最受瞩目的云计算开发者大会,阿里云携一众云计算技术大牛与开发者面对面,探讨各自领域的技术干货与前沿趋势。同时,也发布了多项重大重磅新品与技术战略,其中国内首个全域覆盖的边缘计算基础设施产品备受瞩目。边缘计算-5G时代的新型基础设施据IDC估计,2020年将有超过500亿的终端与设备联网,而有50%的物联网网络将面临网络带宽的限制
阿里云CDN边缘脚本EdgeScript公测:简单语法完成CDN复杂配置
CDN可以将源站内容分发至最靠近用户侧的节点,使得用户就近获取内容,提高用户的访问成功率和效率。作为CDN运维工程师,他的日常工作就是通过CDN系统的配置和管理,来确保CDN业务正常运转,以此来保障网站或应用访问体验顺畅。近年来,伴随着移动互联网和视频爆发,业务数据量激增,同时这也给CDN运维工作带来了诸多挑战。这其中一个不可避免的挑战是:CDN厂商提供的都是标准化服务,通过控制台来实现配置管理,
MaxCompute技术人背后的故事:从ApacheORC到AliORC
2019大数据技术公开课第一季《技术人生专访》来袭,本季将带领开发者们探讨大数据技术,分享不同国家的工作体验。本文整理自阿里巴巴计算平台事业部高级技术专家吴刚的专访,将为大家介绍Apache ORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。此外,吴还将分享他是如何一步步成为Apache开源项目的Committer和PMC的。以下内容根据演讲视
MaxCompute 构建企业云数据仓库CDW的最佳实践建议
在本文中阿里云资深产品专家云郎分享了基于阿里云 MaxCompute 构建企业云数据仓库CDW的最佳实践建议。本文内容根据演讲视频以及PPT整理而成。大家下午好,我是云郎,之前在甲骨文做企业架构师8年,目前是MaxCompute产品经理。在这么长的客户工作过程中,作为产品PD,一定是跟客户在一起的。我经常被一些问题挑战:云郎,我们现在要建数据仓库,我该怎么去规划?云郎,我现在这边是大数据的建设团队
更新与发展 | Alibaba Cloud Linux 2 特性与开发细节揭秘
2019 年 4 月,Alibaba Cloud Linux 2 (Aliyun Linux 2) 正式开源。时至今日,已经走过三个月的里程。在这段时间内,这个刚诞生不久的为阿里云 ECS 环境定制优化的 Linux 操作系统发行版的装机量稳步上升。我们经常接到内部和外部的客户咨询 Alibaba Cloud Linux 2 相关的问题,因此本文将重点介绍 Alibaba Cloud Linux
《2019上半年DDoS攻击态势报告》发布
2019年上半年,阿里云安全团队平均每天帮助用户防御2500余次DDoS攻击,与2018年持平。目前阿里云承载着中国40%网站流量,为全球上百万客户提供基础安全防御。可以说,阿里云上的DDoS攻防态势是整个中国攻防态势的缩影。阿里云安全团队基于2019年上半年云上的DDoS攻击数据,从DDoS攻击事件、僵尸网络中控、DDoS肉鸡、攻击事件情况等多个维度做了统计分析,希望为政府和企业客户提供参考。报
《2019年上半年Web应用安全报告》发布:90%以上攻击流量来源于扫描器,IP身份不再可信
Web应用安全依然是互联网安全的最大威胁来源之一,除了传统的网页和APP,API和各种小程序也作为新的流量入口快速崛起,更多的流量入口和更易用的调用方式在提高web应用开发效率的同时也带来了更多和更复杂的安全问题。一方面,传统的SQL注入、XSS、CC攻击等传统攻击手段和各种新爆出的web漏洞无时无刻不在考验着web应用安全方案的健壮性、灵活性和安全团队的快速反应能力,另一方面随着大数据技术和流量
技术人具备“结构化思维”意味着什么?
阿里妹导读:在日常工作中,我们时常会碰到这样的情况,有的人讲事情逻辑非常混乱,罗列了很多事项,却把握不到重点,无法把一件事情说清楚。这种思维混乱是典型的缺少结构化思维的表现。结构化思维非常重要,不仅仅体现在表达上,也体现在在我们分析问题的过程中。具备结构化思维,才能将问题分析地更全面、更深刻。什么是结构化思维?那么到底是什么是结构化思维呢?简单来说,结构化思维的定义就是:逻辑+套路。表达要有逻辑所
弘康人寿基于 RocketMQ 构建微服务边界总线的实践
随着互联网+和平台化战略的兴起,各个行业的 IT 系统都在向互联网架构发展,涉及的主要技术包括微服务、消息和弹性计算等,采用微服务架构实现服务高内聚、低耦合,通过异步消息完成交易快速响应和高并发。由于微服务和消息是企业应用架构中用的比较多的,故希望通过本文探讨以下问题:企业服务总线(ESB)是否真的过时了?为什么 RocketMQ 是企业服务总线的最佳技术方案之一?如何设计企业微服务架构演进路线图
微服务开源生态报告 No.5
「微服务开源生态报告」,汇集各个开源项目近期的社区动态,帮助开发者们更高效的了解到各开源项目的最新进展。社区动态包括,但不限于:版本发布、人员动态、项目动态和规划、培训和活动。非常欢迎国内其他微服务领域的开源项目将近期的社区动态,投递给我们,我们将一同发布。第一期回顾,点击这里。第二期回顾,点击这里。第三期回顾,点击这里。第四期回顾,点击这里。以下是第五期「微服务开源生态报告」的内容。01 Apa
ACK容器服务虚拟节点使用阿里云日志服务来收集业务容器日志
按照这篇博文的介绍,可以在ACK集群上通过Helm的方式部署虚拟节点,提升集群的弹性能力。现在,通过虚拟节点部署的ECI弹性容器实例也支持将stdout输出、日志文件同步到阿里云日志服务(SLS)进行统一管理,所有日志能够被统一收集同一个日志服务project里面。并且,日志收集方式与集群上普通容器收集方式一致,无缝结合。本文将结合虚拟节点弹性伸缩的能力来介绍日志收集。在ACK集群部署日志服务支撑
阿里云应用高可用 AHAS 正式商用,可一键提升云上应用可用性
在分布式架构环境下,服务间的依赖日益复杂,可能没有人能说清单个故障对整个系统的影响,构建一个高可用的分布式系统面临着很大挑战。7月17日,阿里云应用高可用服务AHAS 正式商用,包含架构感知、流控降级和故障演练三大独立的功能模块,可快速提高应用的高可用能力,解决分布式架构下的高可用难题。直播回顾:点击这里专题页:点击这里在分布式环境下,我们经常会遇到多样的组件和错综复杂的依赖关系,局部故
Seata 0.7.0 正式发布
Seata 是 阿里巴巴 开源的 分布式事务中间件,以 高效 并且对业务 0 侵入 的方式,解决 微服务 场景下面临的分布式事务问题。Seata 0.7.0 已正式发布,本次共合并59pr,主要包括:protobuf 支持,mertric 支持,新协议重设计,bugfix 和代码优化等,本次更新内容如下:特性/功能改进• [#1276 ]新的 RPC 协议• [#12
闲鱼Flutter&FaaS云端一体化架构
讲师介绍国有,闲鱼架构团队负责人。在7月13号落幕的2019年Archsummit峰会上就近一年来闲鱼在Flutter&FaaS一体化项目上的探索和实践进行了分享。传统Native+Web+服务端混合开发的挑战随着无线,IoT的发展,5G的到来,移动研发越发向多端化发展。传统的基于Native+Web+服务端的开发方式,研发效率低下,显然已经无法适应发展需要。我们希望探索闲鱼这样规模的独立
重磅!容器集群监控利器 阿里云Prometheus 正式免费公测
Prometheus 作为容器生态下集群监控的首选方案,是一套开源的系统监控报警框架。它启发于 Google 的 borgmon 监控系统,并于 2015 年正式发布。2016 年,Prometheus 正式加入 Cloud Native Computing Foundation,成为受欢迎度仅次于 Kubernetes 的项目。7月3日,阿里云Promtheus云托管实例正式开始免费公测。针对容
阿里开源 KT Connnect,轻量级云原生测试环境治理平台来啦!
目前越来越多的开发者开始采纳 Kubernetes 管理基础设施环境,并通过 Kubernetes 完成日常的开发,测试以及生产发布活动,为了能够有效的帮助开发者提升在 Kubernetes 场景下的本地开发测试效率,阿里巴巴研发效能云效团队面向原生 Kubernetes 开源了一款轻量级的开发者工具 KT Connect。1. KT Connect 是什么KT Connect(Kubernete
Kubernetes 弹性伸缩全场景解析 (一):概念延伸与组件布局
传统弹性伸缩的困境弹性伸缩是 Kubernetes 中被大家关注的一大亮点,在讨论相关的组件和实现方案之前。首先想先给大家扩充下弹性伸缩的边界与定义,传统意义上来讲,弹性伸缩主要解决的问题是容量规划与实际负载的矛盾。如上图所示,蓝色的水位线表示集群的容量随着负载的提高不断的增长,红色的曲线表示集群的实际的负载真实的变化。而弹性伸缩要解决的就是当实际负载出现激增,而容量规划没有来得及反应的场景。常规
5年时间,我从开发做到总裁的秘籍--如何提升技术型管理者的领导力
对于深耕技术的一线开发者而言,大多数都希望把技术工作进行到底,或者一直从事和技术技术相关性更高的工作。但随着年龄和经验的增长,我对管理和技术的思考越来越多、越来越深入,和大多数人一样,站在这个路口——到底继续做技术还是转型做管理——我也经历抉择,但现在回想看来,似乎在这条路上也没有选择。1.不存在绝对的管理或技术在科技创新企业,不懂技术,也无法做好管理。IBM会有明确的两条晋升道路:一是技术专家路