基于MaxCompute InformationSchema进行血缘关系分析
一、需求场景分析 在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。 本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。 二、方案设计思路 MaxC
边缘计算和“寒武纪”有什么关系?阿里云资深专家刘强如是说
12月12日,第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开,阿里云边缘计算产品首席架构师刘强受邀参会,并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲,分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代?“寒武纪”是6亿年前的一个时代,这个时代之前没有太多的复杂生物,但是由于“寒武纪”时代地球温度逐渐上升,为
阿里云荣获最佳智能边缘计算技术创新平台
12月11日, 2019亚太内容分发大会暨CDN峰会在广州如期召开,大会围绕“边缘计算”为主题,探讨新技术下,全球互联网产业发展趋势。会上,国内第一,全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案,荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测,2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边缘计算的
阿里云杨敬宇:四层技术构建基于城市场景的边缘计算
12月11日,阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示:在未来,边缘计算主要是以地市、区县为单位开展,面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算,我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年,行业应用主要是集中在消费互联网领域,在技术层面大部分采用云-端二体网
五年双十一:SLS数据管道发展之路
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。在2019双十一中:服务阿里经济体3W+ 应用,1.5W外部独立客户峰值30TB/min、单集群峰值11TB/min单日志峰值600GB/min单业务线峰值1.2TB/min支持核心电商、妈妈、蚂蚁、菜鸟、盒马、优酷、高德、大文娱、中间件、天猫精灵
开放下载 | 《Knative 云原生应用开发指南》开启云原生时代 Serverless 之门
自 2018 年 Knative 项目开源后,就得到了广大开发者的密切关注。Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务,让应用开发者可以不用为底层的基础设施分心,把更多的精力投入到业务逻辑上。 Knative 的一个很重要的目标就是制定云原生、跨平台的 Serverless 编排标准。它的优势在于:基于 Kubernetes 实现 Serv
阿里巴巴的 Kubernetes 应用管理实践经验与教训
导读:本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题;随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性;最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。如今,阿里巴巴内部维护了数十个大规模的 K8s 集群,其中最大的集群约 1 万个节点,每个集群会服务上万个应用
阿里巴巴 Service Mesh 落地的架构与挑战
部署架构切入主题前,需要交代一下在 双11 核心应用上落地的部署架构,如下图所示。在这篇文章中,我们主要聚焦于 Service A 和 Service B 之间 RPC 协议的 Mesh 化。图中示例说明了 Service Mesh 所包含的三大平面:即数据平面(Data Plane)、控制平面(Control Plane)和运维平面(Operation Plane)。数据平面我们采用的是开源的
重塑云上的 Java 语言
音乐无国界,但是音乐人有国界。云原生亦如此。虽没有限定的编程语言,但应用所使用的编程语言已经决定了应用部署运行的行为。Java 诞生于20年前,拥有大量优秀的企业级框架,践行 OOP 理念,更多体现的是严谨以及在长时间运行条件下的稳定性和高性能。反观如今,在要求快速迭代交付的云场景下,语言的简单性似乎成了首要的要求,而传统的 Java 语言显得有一些过于重量了。本文由阿里巴巴 JVM 团队技术专家
分布式事务 GTS 的价值和原理浅析
GTS 今年双 11 的成绩今年 2684 亿的背后,有一个默默支撑,低调到几乎被遗忘的中间件云产品——GTS(全局事务服务,Global Transaction Service),稳稳地通过了自 2014 年诞生以来的第 5 次“大考”。2019 年 11 月 1 日至 12 日,GTS 日均处理分布式事务数量达 亿级 ,每天峰值 TPS 达 万级 。这背后最重要意义在于:成绩是在给业务应用的设
Serverless 实战 —— 函数计算 + Typescript 实践
前言首先介绍下在本文出现的几个比较重要的概念:函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Aliyun Serverless VSCode Extension: 是阿里云 Serv
基于函数计算 + TensorFlow 的 Serverless AI 推理
前言概述本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估, 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。1.1 DEMO 概述通过上传一个猫或者狗的照片, 识别出这个照片里面的动物是猫还是狗DEMO 示例效果入口: http://sz.mofangdegisn.cnDEMO
一个实时精准触达系统的自我修养
问题定义在互联网行业,唯一不变的就是一直在变化。作为技术同学,我们经常会碰到以下几种需求: 当用户收藏的商品降价后及时通知用户,促进双方交易达成;新用户或90天内未成交的用户浏览多个商品后引导用户主动和卖家聊天、也可以给用户发个红包促进用户首单的达成;这些需求本质上是这样的逻辑:实时采集分析用户行为,通过规则计算,对符合条件的用户进行精准触达。普通开发模式很难比较好的承接这类需求,为此我们专门研
Serverless Kubernetes入门:对kubernetes做减法
背景Kubernetes作为通用的容器编排系统,承载了广泛的应用和场景,包括CI/CD,数据计算,在线应用,AI等,然而由于其通用性和复杂性,管理一个kubernetes集群对于很多用户而言还是充满挑战的,主要体现在:学习成本高;集群运维管理成本高,包括节点管理、容量规划,以及各种节点异常问题的定位;计算成本在很多场景中没有达到最优,比如对于一个定时运行Jobs的集群,长期持有资源池对于用户来说是
Quick BI支持哪些数据源(配置操作篇)
Quick BI 潜心打造了核心技术底座(OLAP分析引擎),实现了SQL解析、SQL调度、SQL优化、查询加速等基础能力,支撑Quick BI的数据分析和查询加速。OLAP分析引擎包括数据源连接、数据模型、智能查询路由、通用查询、加速查询等5大核心能力。今天就Quick BI的数据源连接能力,小编给大家作个详细介绍!支持哪些数据源:支持24种数据源 数据源是Quick BI用于连接业务数据库
阿里云小程序营收3步曲:一年发展3家加盟+2家直营
在新零售浪潮突袭之下,传统餐饮与数字经济开始融合,各大餐饮企业都或主动或被动地走上了转型升级之路,有的布局电商,有的入驻第三方平台,有的拥抱微信生态......对于餐饮行业的中小企业和商家而言,拥抱新零售已成为必然趋势。餐饮一旦向零售化打通,意味着开启了另一个快消行业的新世界。作为一家美式快餐连锁加盟店,乐可斯也开始新零售的转型之路,根植于四五线下沉市场,短短一年时间发展至2家直营+3家加盟的店铺
阿里云视频云正式支持AV1编码格式 为视频编码服务降本提效
今天我们要说的 AV1 可不是我们平时说的 .AVI 文件格式,它是由AOM(Alliance for Open Media,开放媒体联盟)制定的一个开源、免版权费的视频编码格式,可以解决H.265昂贵的专利费用和复杂的专利授权问题,是新一代领先的免版权费的编码标准。随着短视频、直播的兴起,在线视频领域用户使用时长已超过社交领域,而5G时代视频在互联网的流量占比将会增长至85~90%。面对用户对视
等保2.0正式实施,阿里云发布全国首个《阿里公共云用户等保2.0合规能力白皮书》
《网络安全法》后,网络安全等级保护制度上升到了法律层面,不做等保就“等于”违法早已深入人心。等保2.0最大的特点就是从原有传统系统基础上延伸到了云计算、移动互联、物联网和大数据等新兴领域,因此云上用户从12月1日正式迎来等保2.0大考验。那么,问题来了,等保2.0该怎么做?云服务商已经通过等保了,云上用户是不是默认已经通过,还需要单独做等保吗?等保条款那么多,用户在云上看不见摸不着,对于新增的云计
二十多天后密码法正式施行 必备功课做完了吗?
距离2020年1月1日《中华人民共和国密码法》(简称“密码法”)正式施行,还剩二十多天。密码法都做了哪些规定,与我们个人和企业有什么关系,在新法正式施行前我们应该怎么做好准备?今天我们就来聊一聊密码法相关的那些事。密码法最受关注的四大问题密码法的“密码”指的是什么?一提到密码,我们都会联想到银行密码、手机密码、支付密码、账号密码等等,但此密码并非彼密码。密码法里的密码指的是使用特定变换对信息等进行
Knative Serverless 之道:如何 0 运维、低成本实现应用托管?
通过本文您将了解到:Knative 是如何让普通的应用具备 Serverless 能力的?为什么说 Knative 是云原生的应用 Serverless 编排引擎?Knative 为什么是由 Tekton 、Eventing 和 Serving 三个模块组成,以及这三个模块的协作方式。本文共有四部分内容:首先咱们一起来看一下云的核心驱动力是什么,接着从这个核心驱动力出发看一下云原生应用是什么样子。