ITPub博客

过去无论您是在生产中使用，还是调研Apache Flink，估计您总是会问这样一个问题：我该如何访问和更新Flink保存点（savepoint）中保存的state？不用再询问了，Apache Flink 1.9.0引入了状态处理器（State Processor）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。在这篇

2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云，完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级，容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点，剖析阿里云的容器技术演进历程，借此探析整个行业的发展趋势。以容器为代表的云原生技术，成为云时代释放云价值的最短路径过去我们常以虚拟化作为云平台

无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，

Apache Flink 是公认的新一代开源大数据计算引擎，其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前，Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上，阿里巴巴资深技术专家，实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进，阿里对 Flink 社区的贡献以及

以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下三个方面：一、阿里风控大脑整体介绍二、近线引擎三、离线引擎一、阿里风控大脑整体介绍1. 阿里风控大脑是什么?阿里的风控主要分为两大块。一块是金融领域，主要业务是支付宝，另一块是非金融领域，如新零售、高德、大文娱等，我们负责的主要是非金融领域。阿里风控大脑的含义较为丰富，可以有不同的解读，但基本上代表了几个方向。首先，阿里风控大脑是“大中台

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎，显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCo

摘要：如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面：Lyft 的流数据与场景准实时数据分析平台和架构平台性能及容错深入分析总结与未来展望重要：文末「

一、需求场景分析在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。二、方案设计思路MaxCompute I

本文内容根据演讲视频以及PPT整理而成。双十一！=11.11首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多的思考。从“人、货、场”的角度看待双11。首先，对于“人”而言，双11需要回答什么样的消费者会看什么样的

12月16日，第九届中国云计算标准与应用大会于北京隆重召开。大会聚焦云计算产业新阶段面临的诸多挑战与机遇，从技术标准、技术解析、应用落地等方面进行深入的解读和探讨。会上，阿里云获得由中国电子技术标准化研究院颁发的首批《边缘云标准符合性测试证书》。这是业内权威机构首次开展边缘云领域的测评认证，对于产业上下游和技术服务商具有重要指导意义，也意味着阿里云在推进边缘云领域标准化建设上更进一步。（右二为阿里

12月12日，第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开，阿里云边缘计算产品首席架构师刘强受邀参会，并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲，分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代？“寒武纪”是6亿年前的一个时代，这个时代之前没有太多的复杂生物，但是由于“寒武纪”时代地球温度逐渐上升，为

12月11日， 2019亚太内容分发大会暨CDN峰会在广州如期召开，大会围绕“边缘计算”为主题，探讨新技术下，全球互联网产业发展趋势。会上，国内第一，全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案，荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测，2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边缘计算的

12月11日，阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示：在未来，边缘计算主要是以地市、区县为单位开展，面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算，我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年，行业应用主要是集中在消费互联网领域，在技术层面大部分采用云-端二体网

近期，朋友圈刷屏的2017和2019对比图，扎了许多人的心，相信创投圈人士更是体会尤深。2018年的创业“寒冬”，一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下，国民老公王思聪的熊猫TV倒闭，P2P金融全面清退，互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”，在环境变化和商业竞争中，有人跌倒，也有人攀顶；有人停下脚步，也有人继续前行。喧嚣之中，我们更需要回归商业的本质

近期，朋友圈刷屏的2017和2019对比图，扎了许多人的心，相信创投圈人士更是体会尤深。2018年的创业“寒冬”，一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下，国民老公王思聪的熊猫TV倒闭，P2P金融全面清退，互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”，在环境变化和商业竞争中，有人跌倒，也有人攀顶；有人停下脚步，也有人继续前行。喧嚣之中，我们更需要回归商业的本质

文档编写目的Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元，围绕着实时数据采集，实时数据处理和实时数据分析有多个不同的功能模块，如下图所示：图中 4 个功能模块从左到右分别解释如下：Cloudera Edge Management(CEM)，主要是指在边缘设备如传感器上部署 MiNiFi 的 agent 后用于采集数据。Cloudera Flow Man

本文根据Apache Flink 实战&进阶篇系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分：Flink CEP概念以及使用场景。如何使用Flink CEP。如何扩展Flink CEP。Flink CEP 概念以及使用场景什么是 CEPC

Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。架构Stack首先来看下stack，在新的Blink planner中，batch也是架设在Transformation上的，这就意

容器技术提供了一种标准化的交付方式，将应用的代码以及代码环境依赖都打包在一起，成为一个与环境无关的交付物，可以被用在软件生命周期的任何阶段，彻底改变了传统的软件交付方式。甚至可以说，是在容器技术之后，DevOps、CI/CD 等运维关键问题才有了质的飞跃：实现资源的动态创建和销毁，更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率，各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续等等

日志服务SLS是一款飞天团队自研产品，服务云上云下3W+客户，并在阿里经济体中作为日志数据的基础设施，在过去几年中经历多次双十一、双十二、新春红包锤炼。在2019双十一中：服务阿里经济体3W+ 应用，1.5W外部独立客户峰值30TB/min、单集群峰值11TB/min单日志峰值600GB/min单业务线峰值1.2TB/min支持核心电商、妈妈、蚂蚁、菜鸟、盒马、优酷、高德、大文娱、中间件、天猫精灵