如何分析及处理 Flink 反压?
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。关于 Flink
containerd 与安全沙箱的 Kubernetes 初体验
作者 | 易立 阿里云资深技术专家containerd 是一个开源的行业标准容器运行时,关注于简单、稳定和可移植,同时支持 Linux 和 Windows。2016 年 12 月 14 日,Docker 公司宣布将 Docker Engine 的核心组件 containerd 捐赠到一个新的开源社区独立发展和运营。阿里云、AWS、 Google、IBM 和 Microsoft 作为初始
dubbo-go 中的 TPS Limit 设计与实现
前言Apache Dubbo 是由阿里开源的一个RPC框架,除了基本的 RPC 功能以外,还提供了一整套的服务治理相关功能。目前它已经是 Apache 基金会下的顶级项目。而 dubbo-go 则是 Dubbo 的 Go 语言实现。最近在 dubbo-go 的 todo list 上发现,它还没有实现 TPS Limit 的模块,于是就抽空实现了这个部分。TPS limit 实际上就是限流,比如说
阿里云推出SRT+杜比全景声直播方案,低成本打造高质量直播观感体验
超过200个国家和地区共5144万人观看;浙江卫视、东方卫视55城总收视达2.39,稳居同时段市场第一;优酷直播间63%观看晚会的用户参与了互动;微博68.2亿的主话题阅读量;2019天猫双11狂欢夜(下简称“猫晚”),又一次创造了奇迹。阿里云视频云已经连续5年为猫晚保驾护航,每一年的猫晚直播,技术上都会推陈出新。在2019猫晚中,首次使用4K高清转播车进行信号传输和杜比全景声,让屏幕前的观众听到
阿里云祝顺民(江鹤):云原生SDWAN加速企业上云 引领未来智能网络
第二届中国SD-WAN峰会于11月16日在北京盛大开幕,阿里云以黄金赞助商之名隆重参与。作为全球前三,亚太第一的云计算厂商,阿里云一直引领云网技术的演进及应用落地。过去一年,阿里云发布以云为中心的云原生SDWAN解决方案,助力企业用户简易、快速上云。今年在SDWAN峰会上,阿里云网络团队研究员祝顺民先生(江鹤)分享了对于阿里云云原生SDWAN网络过去一年多的成绩及未来自动化、智能化网络的展望。阿里
湖畔大学之在湖边 ● 畅谈1号位的技术观
“企业1号位要不要懂技术?”,这是第七期“在湖边”活动的主旨论题。和以往已经成功举办的六期不同,本期活动有一个特色,除了按例继续邀请湖畔大学两位学员大咖外,还邀请了“奇葩大会”和“吐槽大会”的编剧人员面对面指导入选的12位CEO,让他们以辩论和吐槽的方式深度参与该活动,以激发现场近百位来自各行各业参会的CEO或CTO等人员的深入思考。 作为阿里
阿里云基于OSS的云上统一数据保护方案2.0技术解析
近年来,随着越来越多的企业从传统经济向数字经济转型,云已经渐渐成为数据经济IT新常态。核心业务系统上云,云上的业务创新,这些都产生了大量的业务数据,这些数据也成为了企业最重要的资产、资源。 阿里云基于OSS的云上统一数据保护方案2.0,针对业务上云后数据保护所面临的挑战,提供多层次、全方位的数据保护解决方案,让您业务上云,数据无忧。阿里云基于OSS的云上统一数据保护方案2.0,能够应对数据在使用
为了实现在线库的复杂查询,你还在双写吗?
一、在线库不支持在线复杂查询做在线业务的开发者经常会碰到这样的难题:在线数据库上面运行稍微复杂点的查询,在线业务就挂了!不管是单机数据库如MySQL、PG,还是分布式数据库,HBase、MongoDB、Cassandra都有这个问题。下面,本文就以HBase为例对该问题进行说明,其他库原理类似。HBase作为海量在线存储引擎,被广泛应用于推荐、风控、物联网、画像、表单等大数据场景。Phoenix作
双11核心系统100%上云 !阿里数据库处理峰值远超传统厂商
双11是一次大规模的全社会协作,要想让业务流、信息流和资金流做到顺畅、及时和精准地在整个双11系统中完成同步和读写,数据库是非常关键的技术环节。今年双11期间,阿里自研数据库产品OceanBase、POLARDB以及其他多款数据库产品的共同支持下,保证了双11开始前15分钟整个系统没有任何抖动,数亿用户顺畅购物。张建锋在双11的媒体沟通会上透露,在双11的交易中,OceanBase和POLARDB
每秒8700万次!双11数据库峰值新纪录背后的关键力量
一秒钟有多短? 就在你眨眼看这篇文章的瞬间 它已然消逝 那么一秒钟,可以做什么呢?2019年双11,阿里云自研云原生数据库POLARDB创造了每秒8700万次的数据库处理(TPS)峰值新记录。眨眼间,即完成了8700万次计算。在阿里云双11技术媒体发布会上,阿里云智能数据库事业部总经理曹伟表示,在阿里自研数据库产品POLARDB以及其他多款数据库产品的共同支持下,今年双11开始前15分
最强CP!阿里云联手支付宝小程序如何助力双11?
作为首次“全面上云”的双11,阿里云征服了每秒订单峰值54.4万笔的世界新记录。正是在阿里云的保驾护航下,即使访问量是平时的5到6倍,小程序也鲜少出现卡顿或者宕机的现象,“依靠阿里云,我们整个天猫双11活动平稳落地。”一位小程序商家说到。要问支付宝小程序商家本次“天猫双11”最大的感触是什么,许多人回答了两个字:“涨”和“稳”。用户数在涨、订单量在涨、收藏量在涨…尽管双11的主战场在天猫,但支付宝
Apache Flink 进阶(八):详解 Metrics 原理与实战
作者:刘彪整理:毛鹤本文由 Apache Flink Contributor 刘彪分享,本文对两大问题进行了详细的介绍,即什么是 Metrics、如何使用 Metrics,并对 Metrics 监控实战进行解释说明。什么是 Metrics?Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况
开源大数据生态下的 Flink 应用实践
过去十年,面向整个数字时代的关键技术接踵而至,从被人们接受,到开始步入应用。大数据与计算作为时代的关键词已被广泛认知,算力的重要性日渐凸显并发展成为企业新的增长点。Apache Flink(以下简称 Flink)以其快速、准确的算力备受关注,如何将 Flink 更好的与大数据生态技术相结合,充分挖掘数据的潜力,真正发挥数据的价值,是大多数企业面临的难题。11 月 28-30 日,Flink For
Flink State 有可能代替数据库吗?
有状态的计算作为容错以及数据一致性的保证,是当今实时计算必不可少的特性之一,流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据,部分情况下甚至可以直接用 State 存储结果数据,这让业界
Helm 3 发布 | 云原生生态周报 Vol. 27
作者 | 墨封、元毅、冬岛、敖小剑、衷源业界要闻----1.[Helm 3 发布](https://yq.aliyun.com/go/articleRenderRedirect?url=https%3A%2F%2Fmp.weixin.qq.com%
最强CP!阿里云联手支付宝小程序如何助力双11?
作为首次“全面上云”的双11,阿里云征服了每秒订单峰值54.4万笔的世界新记录。正是在阿里云的保驾护航下,即使访问量是平时的5到6倍,小程序也鲜少出现卡顿或者宕机的现象,“依靠阿里云,我们整个天猫双11活动平稳落地。”一位小程序商家说到。要问支付宝小程序商家本次“天猫双11”最大的感触是什么,许多人回答了两个字:“涨”和“稳”。用户数在涨、订单量在涨、收藏量在涨…尽管双11的主战场在天猫,但支付宝
饿了么交付中心语言栈转型总结
前言: 本文介绍了饿了么交付中心由python语言栈转换到java语言栈大致过程,一来是对前段时间的工作做下总结,另外也是想通过此次总结为其他应用服务转型提供些借鉴。写的不好,欢迎板砖。背景饿了么并入阿里集团,为了能高效与集团内部系统协同对接,同时方便利用集团优势技术资源,更好的融入阿里集团技术生态圈,饿了么交易中台在上半年启动了交易领域的四大应用语言栈转型项目,为阿里集团本地生活服务平台打好技
2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11
“不是任何一朵云都能撑住这个流量。中国有两朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集团CTO张建锋表示,“阿里云不一样,10年前我们从第一行代码写起,构建了中国唯一自研的云操作系统飞天。”阿里巴巴集团CTO、阿里云智能总裁张建锋2019天猫双11再次刷新世界纪录,订单创新峰值达到54.4万笔/秒,单日数据处理量达到970PB。今年阿里巴巴核心系统100%上云,撑住了双11的世界
《DNS稳定保障系列3--快如闪电,域名解析秒级生效》
在刚刚过去的双十一,又是一个全民狂欢的盛宴,天猫双十一的成交量高达2684亿。无数小伙伴在淘宝、天猫里买买买,今年你又剁手了多少?言归正传,在你疯狂秒杀的时候,有没有发现,今年的购物体验一如既往的好,访问速度快,购物体验那个流畅。我在这里自豪的向大家宣布,我们阿里云解析DNS又一次完成了今年双十一的安保任务!大促的稳定,离不开DNS团队的默默奉献。 今天我们来说说DNS服务稳定保障的重要环节--
从电商到软件市场,阿里双11战火蔓延
2019年“双十一”,是阿里天猫奋战的第11个年头,更是阿里在电商行业的一个重要的里程碑。今年,整个阿里系也在“一心一役”全面出击,作为阿里旗下的重要大将——阿里云也加入了这场购物狂欢,将火热的购物氛围从C端消费者延伸到了B端企业用户。作为阿里云的战略发展点,阿里云云市场承接着中国云生态各个链条产品的落地。阿里云云市场是中国最大的云计算/企业服务平台之一,覆盖企业应用、基础软件、上云服务、解决方案