阿里云杨敬宇:四层技术构建基于城市场景的边缘计算
12月11日,阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示:在未来,边缘计算主要是以地市、区县为单位开展,面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算,我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年,行业应用主要是集中在消费互联网领域,在技术层面大部分采用云-端二体网
阿里云与创业者的下半程故事
近期,朋友圈刷屏的2017和2019对比图,扎了许多人的心,相信创投圈人士更是体会尤深。2018年的创业“寒冬”,一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下,国民老公王思聪的熊猫TV倒闭,P2P金融全面清退,互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”,在环境变化和商业竞争中,有人跌倒,也有人攀顶;有人停下脚步,也有人继续前行。喧嚣之中,我们更需要回归商业的本质
寒冬中“逆势生长”,阿里云如何帮助创业者破局?
近期,朋友圈刷屏的2017和2019对比图,扎了许多人的心,相信创投圈人士更是体会尤深。2018年的创业“寒冬”,一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下,国民老公王思聪的熊猫TV倒闭,P2P金融全面清退,互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”,在环境变化和商业竞争中,有人跌倒,也有人攀顶;有人停下脚步,也有人继续前行。喧嚣之中,我们更需要回归商业的本质
在 Cloudera Data Flow 上运行你的第一个 Flink 例子
文档编写目的Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:图中 4 个功能模块从左到右分别解释如下:Cloudera Edge Management(CEM),主要是指在边缘设备如传感器上部署 MiNiFi 的 agent 后用于采集数据。Cloudera Flow Man
Flink Batch SQL 1.10 实践
Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。架构Stack首先来看下stack,在新的Blink planner中,batch也是架设在Transformation上的,这就意
容器镜像服务 联手 IDE 插件,实现一键部署、持续集成与交付
容器技术提供了一种标准化的交付方式,将应用的代码以及代码环境依赖都打包在一起,成为一个与环境无关的交付物,可以被用在软件生命周期的任何阶段,彻底改变了传统的软件交付方式。甚至可以说,是在容器技术之后,DevOps、CI/CD 等运维关键问题才有了质的飞跃:实现资源的动态创建和销毁,更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率,各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续等等
五年双十一:SLS数据管道发展之路
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。在2019双十一中:服务阿里经济体3W+ 应用,1.5W外部独立客户峰值30TB/min、单集群峰值11TB/min单日志峰值600GB/min单业务线峰值1.2TB/min支持核心电商、妈妈、蚂蚁、菜鸟、盒马、优酷、高德、大文娱、中间件、天猫精灵
开放下载 | 《Knative 云原生应用开发指南》开启云原生时代 Serverless 之门
自 2018 年 Knative 项目开源后,就得到了广大开发者的密切关注。Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务,让应用开发者可以不用为底层的基础设施分心,把更多的精力投入到业务逻辑上。Knative 的一个很重要的目标就是制定云原生、跨平台的 Serverless 编排标准。它的优势在于:基于 Kubernetes 实现 Server
阿里巴巴的 Kubernetes 应用管理实践经验与教训
导读:本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题;随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性;最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。如今,阿里巴巴内部维护了数十个大规模的 K8s 集群,其中最大的集群约 1 万个节点,每个集群会服务上万个应用
阿里巴巴 Service Mesh 落地的架构与挑战
导读:云原生已成为整个阿里巴巴经济体构建面向未来的技术基础设施,Service Mesh 作为云原生的关键技术之一,顺利完成在 双11 核心应用严苛而复杂场景下的落地验证。本文作者将与大家分享在完成这一目标过程中我们所面临和克服的挑战。部署架构切入主题前,需要交代一下在 双11 核心应用上落地的部署架构,如下图所示。在这篇文章中,我们主要聚焦于 Service A 和 Service B 之间 R
重塑云上的 Java 语言
音乐无国界,但是音乐人有国界。云原生亦如此。虽没有限定的编程语言,但应用所使用的编程语言已经决定了应用部署运行的行为。Java 诞生于20年前,拥有大量优秀的企业级框架,践行 OOP 理念,更多体现的是严谨以及在长时间运行条件下的稳定性和高性能。反观如今,在要求快速迭代交付的云场景下,语言的简单性似乎成了首要的要求,而传统的 Java 语言显得有一些过于重量了。本文由阿里巴巴 JVM 团队技术专家
分布式事务 GTS 的价值和原理浅析
GTS 今年双 11 的成绩今年 2684 亿的背后,有一个默默支撑,低调到几乎被遗忘的中间件云产品——GTS(全局事务服务,Global Transaction Service),稳稳地通过了自 2014 年诞生以来的第 5 次“大考”。2019 年 11 月 1 日至 12 日,GTS 日均处理分布式事务数量达 亿级 ,每天峰值 TPS 达 万级。这背后最重要意义
轻松构建基于 Serverless 架构的弹性高可用音视频处理系统
前言随着计算机技术和 Internet 的日新月异,视频点播技术因其良好的人机交互性和流媒体传输技术倍受教育、娱乐等行业青睐,而在当前, 云计算平台厂商的产品线不断成熟完善, 如果想要搭建视频点播类应用,告别刀耕火种, 直接上云会扫清硬件采购、 技术等各种障碍,以阿里云为例:这是一个非常典型的解决方案, 对象存储 OSS 可以支持海量视频存储,采集上传的视频被转码以适配各种终端,CDN 加速终端设
Serverless 实战 —— 函数计算 + Typescript 实践
前言首先介绍下在本文出现的几个比较重要的概念:函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Aliyun Serverless VSCode Extension: 是阿里云 Serv
基于函数计算 + TensorFlow 的 Serverless AI 推理
前言概述本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估, 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。1.1 DEMO 概述通过上传一个猫或者狗的照片, 识别出这个照片里面的动物是猫还是狗DEMO 示例效果入口: http://sz.mofangdegisn.cn
阿里云上万个 Kubernetes 集群大规模管理实践
在 2019 年 双11 中,容器服务 ACK 支撑了阿里巴巴内部核心系统容器化和阿里云的云产品本身,也将阿里巴巴多年的大规模容器技术以产品化的能力输出给众多围绕 双11 的生态公司。通过支撑来自全球各行各业的容器云,容器服务沉淀了支持单元化全球化架构和柔性架构的云原生应用托管中台能力,管理了超过 1W 个以上的容器集群。本文将会介绍容器服务在海量 Kubernetes 集群管理上的实践经验。什么
安全容器在边缘计算场景下的实践
导读:随着云计算边界不断向边缘侧延展,传统 RunC 容器已无法满足用户对不可信、异构工作负载的运行安全诉求,边缘 Serverless、边缘服务网格等更是对容器安全隔离提出了严苛的要求。本文将介绍边缘计算场景如何构建安全运行时技术基座,以及安全容器在架构、网络、监控、日志、存储、以及 K8s API 兼容等方面的遇到的困难挑战和最佳实践。正文:本文主要分为四个部分,首先前两个部分会分别介绍一下A
Serverless Kubernetes入门:对kubernetes做减法
背景Kubernetes作为通用的容器编排系统,承载了广泛的应用和场景,包括CI/CD,数据计算,在线应用,AI等,然而由于其通用性和复杂性,管理一个kubernetes集群对于很多用户而言还是充满挑战的,主要体现在:学习成本高;集群运维管理成本高,包括节点管理、容量规划,以及各种节点异常问题的定位;计算成本在很多场景中没有达到最优,比如对于一个定时运行Jobs的集群,长期持有资源池对于用户来说是
Quick BI支持哪些数据源(配置操作篇)
Quick BI 潜心打造了核心技术底座(OLAP分析引擎),实现了SQL解析、SQL调度、SQL优化、查询加速等基础能力,支撑Quick BI的数据分析和查询加速。OLAP分析引擎包括数据源连接、数据模型、智能查询路由、通用查询、加速查询等5大核心能力。今天就Quick BI的数据源连接能力,小编给大家作个详细介绍!支持哪些数据源:支持24种数据源 数据源是Quick BI用于连接业务
阿里云视频云正式支持AV1编码格式 为视频编码服务降本提效
今天我们要说的 AV1 可不是我们平时说的 .AVI 文件格式,它是由AOM(Alliance for Open Media,开放媒体联盟)制定的一个开源、免版权费的视频编码格式,可以解决H.265昂贵的专利费用和复杂的专利授权问题,是新一代领先的免版权费的编码标准。随着短视频、直播的兴起,在线视频领域用户使用时长已超过社交领域,而5G时代视频在互联网的流量占比将会增长至85~90%。面对用户对视