在 Cloudera Data Flow 上运行你的第一个 Flink 例子
文档编写目的Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:图中 4 个功能模块从左到右分别解释如下:Cloudera Edge Management(CEM),主要是指在边缘设备如传感器上部署 MiNiFi 的 agent 后用于采集数据。Cloudera Flow Man
Apache Flink CEP 实战
本文根据Apache Flink 实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分:Flink CEP概念以及使用场景。如何使用Flink CEP。如何扩展Flink CEP。Flink CEP 概念以及使用场景什么是 CEPC
Flink Batch SQL 1.10 实践
Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。架构Stack首先来看下stack,在新的Blink planner中,batch也是架设在Transformation上的,这就意
容器镜像服务 联手 IDE 插件,实现一键部署、持续集成与交付
容器技术提供了一种标准化的交付方式,将应用的代码以及代码环境依赖都打包在一起,成为一个与环境无关的交付物,可以被用在软件生命周期的任何阶段,彻底改变了传统的软件交付方式。甚至可以说,是在容器技术之后,DevOps、CI/CD 等运维关键问题才有了质的飞跃:实现资源的动态创建和销毁,更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率,各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续等等
五年双十一:SLS数据管道发展之路
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。在2019双十一中:服务阿里经济体3W+ 应用,1.5W外部独立客户峰值30TB/min、单集群峰值11TB/min单日志峰值600GB/min单业务线峰值1.2TB/min支持核心电商、妈妈、蚂蚁、菜鸟、盒马、优酷、高德、大文娱、中间件、天猫精灵
旧手机回收不放心?阿里小程序为回收加码!
小云家里有几台旧手机,不敢随意丢弃,担心手机里的隐私泄漏。又不愿卖给小商贩,价格不透明。犹犹豫豫,一直不知道怎么处理。针对用户担心手机隐私泄漏、回收价不透明的痛点,闪回收牵手阿里云共同打造“闪回收手机回收”小程序,通过简单操作即可知晓手机回收价格,在回收完成后,闪回收会在全程监控下恢复手机出场设置,并做信息填压式覆盖,更好的保障用户的隐私不受侵害。阿里云为闪回收提供了稳定、扩展性极强的服务能力,可
如何保障云上数据安全?一文详解云原生全链路加密
导读:对于云上客户而言,其云上数据被妥善的安全保护是其最重要的安全需求,也是云上综合安全能力最具象的体现。本文作者将从云安全体系出发,到云数据安全,再到云原生安全体系对全链路加密进行一次梳理,从而回答:在云原生时代,全链路加密需要做什么?如何做到?以及未来要做什么?什么是云原生全链路加密数据安全在云上的要求,可以用信息安全基本三要素 "CIA"来概括,即机密性(Confiden
开放下载 | 《Knative 云原生应用开发指南》开启云原生时代 Serverless 之门
点击下载《Knative 云原生应用开发指南》自 2018 年 Knative 项目开源后,就得到了广大开发者的密切关注。Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务,让应用开发者可以不用为底层的基础设施分心,把更多的精力投入到业务逻辑上。Knative 的一个很重要的目标就是制定云原生、跨平台的 Serverless 编排标准。它的优势在于:
阿里巴巴的 Kubernetes 应用管理实践经验与教训
导读:本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题;随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性;最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。如今,阿里巴巴内部维护了数十个大规模的 K8s 集群,其中最大的集群约 1 万个节点,每个集群会服务上万个应用
阿里巴巴 Service Mesh 落地的架构与挑战
导读:云原生已成为整个阿里巴巴经济体构建面向未来的技术基础设施,Service Mesh 作为云原生的关键技术之一,顺利完成在 双11 核心应用严苛而复杂场景下的落地验证。本文作者将与大家分享在完成这一目标过程中我们所面临和克服的挑战。部署架构切入主题前,需要交代一下在 双11 核心应用上落地的部署架构,如下图所示。在这篇文章中,我们主要聚焦于 Service A 和 Service B 之间 R
从零开始入门 K8s | 手把手带你理解 etcd
本文整理自《CNCF x Alibaba 云原生技术公开课》第 16 讲。导读:etcd 是用于共享配置和服务发现的分布式、一致性的 KV 存储系统。本文从 etcd 项目发展所经历的几个重要时刻开始,为大家介绍了 etcd 的总体架构及其设计中的基本原理。希望能够帮助大家更好的理解和使用 etcd。一、etcd 项目的发展历程etcd 诞生于 CoreOS 公司,它最初是用于解决集群管
Kubernetes 时代的安全软件供应链
导读:从 Docker image 到 Helm, 从企业内部部署到全球应用分发,作为开发者的我们如何来保障应用的交付安全。本文会从软件供应链的攻击场景开始,介绍云原生时代的应用交付标准演进和阿里云上的最佳实践。“没有集装箱,就不会有全球化”。在软件行业里,Docker 和 Kubernetes 也扮演了类似的角色,加速了软件行业的社会化分工和交付运维的效率。2013 年, Docker 公司提出
阿里巴巴叔同谈云原生和云计算
本文系『CSDN云计算』对阿里云云原生应用平台负责人叔同的专访,阿里巴巴中间件受权转载。通过本文,您将了解到云计算时代容器技术的发展路径,阿里云在容器领域的产品矩阵、技术迭代以及未来趋势等方面,以及阿里云的容器技术演进历程。以容器为代表的云原生技术,成为云时代释放云价值的最短路径"过去我们常以虚拟化作为云平台和与客户交互的界面,为企业带来灵活性的同时也带来一定的管理复杂度;容器的出现,在
重塑云上的 Java 语言
音乐无国界,但是音乐人有国界。云原生亦如此。虽没有限定的编程语言,但应用所使用的编程语言已经决定了应用部署运行的行为。Java 诞生于20年前,拥有大量优秀的企业级框架,践行 OOP 理念,更多体现的是严谨以及在长时间运行条件下的稳定性和高性能。反观如今,在要求快速迭代交付的云场景下,语言的简单性似乎成了首要的要求,而传统的 Java 语言显得有一些过于重量了。本文由阿里巴巴 JVM 团队技术专家
分布式事务 GTS 的价值和原理浅析
GTS 今年双 11 的成绩今年 2684 亿的背后,有一个默默支撑,低调到几乎被遗忘的中间件云产品——GTS(全局事务服务,Global Transaction Service),稳稳地通过了自 2014 年诞生以来的第 5 次“大考”。2019 年 11 月 1 日至 12 日,GTS 日均处理分布式事务数量达 亿级 ,每天峰值 TPS 达 万级 。这背
阿里云存储容量单位包正式上线公测,全球首款通用存储售卖形态
2019年12月2日,阿里云存储容量单位包(Storage Capacity Unit,以下简称SCU)正式上线公测,可以用来抵扣多种不同类型云盘的按量付费账单。相比于随云服务器预付费购买的模式,SCU与按量付费云盘的组合使用,兼具性价比与资源使用的灵活性。据介绍,SCU是一种全新的存储产品售卖形态,兼顾客户长周期成本优化诉求的同时,能够为客户提供最佳的资源使用灵活性。相比于按量付费的售卖形态,S
物联网平台的技术挑战
IoT时代的技术又遇到怎样的不一样与挑战,简单总结一下阿里云IoT场景中我们面临的问题与挑战。多样的连接万物的互联,连接的形态也在悄然的发生变化,从WIFI,3G/4G,BLE到NB-loT,LoRa,传统的RS232,RS485, CAN BUS等等也登上新的舞台,原本相互无关的网络形态,交织在一起,异构的网络构建着统一通讯。面对着智能生活,智能工业,智能城市,智能园区,有的场景追求低功耗,有的
轻松构建基于 Serverless 架构的弹性高可用音视频处理系统
前言随着计算机技术和 Internet 的日新月异,视频点播技术因其良好的人机交互性和流媒体传输技术倍受教育、娱乐等行业青睐,而在当前, 云计算平台厂商的产品线不断成熟完善, 如果想要搭建视频点播类应用,告别刀耕火种, 直接上云会扫清硬件采购、 技术等各种障碍,以阿里云为例:这是一个非常典型的解决方案, 对象存储 OSS 可以支持海量视频存储,采集上传的视频被转码以适配各种终端,CDN 加速终端设
Serverless 实战 —— 函数计算 + Typescript 实践
前言首先介绍下在本文出现的几个比较重要的概念:函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Aliyun Serverless VSCode Extension: 是阿里云 Serv
基于函数计算 + TensorFlow 的 Serverless AI 推理
前言概述本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估, 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。1.1 DEMO 概述通过上传一个猫或者狗的照片, 识别出这个照片里面的动物是猫还是狗DEMO 示例效果入口: http://sz.mofangdegisn.cn