ITPub博客

在Logging这块做了几年，最近1年来越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决，授人以鱼不如授人以渔，于是想把我们这些年积累的经验以文章的形式发出来，让看到这篇文章的同学能少走弯路。这个系列文章定位为长篇连载，内容偏向落地实操以及经验分享，且内容会随着技术的迭代而不定期更新。前言第一次听到Kubernetes的名字是在16年，那个

以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下五个方面：PAI产品简介自定义算法上传数加智能生态市场AutoML2.0自动调参AutoLearning自动学习一、PAI产品简介与功能发展1. PAI-Studio在PAI的架构图中，最下层的是PAI的计算框架和数据资源。PAI可支持MaxCompute、OSS、HDFS和NAS等多种数据资源。在数据资源和多种计算框架基础之上，诞生出了

摘要：Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。目前，Apache Flink 1.9.0版本已经正式发布，该版本有什么样的里程碑意义，又具有哪些重点改动和新功能呢？本文中，阿里巴巴高级技术专家伍翀就为大家带来了对于Apache Flink 1.9.0版本的介绍。演讲嘉宾介绍：本次分享

在 Flink 中，状态可靠性保证由 Checkpoint 支持，当作业出现 failover 的情况下，Flink 会从最近成功的 Checkpoint 恢复。在实际情况中，我们可能会遇到 Checkpoint 失败，或者 Checkpoint 慢的情况，本文会统一聊一聊 Flink 中 Checkpoint 异常的情况（包括失败和慢），以及可能的原因和排查思路。1. Checkpoint 流程

导读：云原生时代的来临，与Java 开发者到底有什么联系？有人说，云原生压根不是为了 Java 存在的。然而，本文的作者却认为云原生时代，Java 依然可以胜任“巨人”的角色。作者希望通过一系列实验，开拓同学视野，提供有益思考。在企业软件领域，Java 依然是绝对王者，但它让开发者既爱又恨。一方面因为其丰富的生态和完善的工具支持，可以极大提升了应用开发效率；但在运行时效率方面，Java 也背负着”

一、容器与镜像什么是容器？在介绍容器的具体概念之前，先简单回顾一下操作系统是如何管理进程的。首先，当我们登录到操作系统之后，可以通过 ps 等操作看到各式各样的进程，这些进程包括系统自带的服务和用户的应用进程。那么，这些进程都有什么样的特点？第一，这些进程可以相互看到、相互通信；第二，它们使用的是同一个文件系统，可以对同一个文件进行读写操作；第三，这些进程会使用相同的系统资源。这样的三个特点会带来

9月10日，踏入55岁的马云正式卸任阿里巴巴董事局主 席一职，由阿里巴巴集团CEO张勇接任。公寓创业、西湖论剑、美国敲钟，从成立到登顶中国最值钱的公司，阿里巴巴只用了20年。阿里云RPA，2011年诞生于淘宝以数字化为标志，以智能化为特征的新一代商业变革已经到来。阿里巴巴蓬勃发展的20年，也是新技术风起云涌的20年。阿里云RPA，2011年诞生于淘宝，当时在内部叫巨无霸，2012、2013、201

前言Flink 的 API 大体上可以划分为三个层次：处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API，这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以

1. 综述本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。2. Flink Runtime 整体架构Flink 的整体架构如图 1 所示。Flink 是

背景：IPv4地址已接近枯竭，被誉为下一代互联网技术的IPv6成为新的“全球互联网门牌号”，它可以让地球上的每一粒沙子都拥有地址。当下，各国都在加速推进下一代互联网的部署，工信部也互联网服务商提出了IPv6改造的要求，国内的各大互联网厂商都在进行着IPv6的改造，IPv6的改造已迫在眉睫。那么部署在阿里云容器服务上的应用如何暴露提供IPv6的服务呢？我们可以使用IPv6类型的LoadBalance

概要近日，阿里云安全团队发现wacthbo挖矿团伙[1]新增了CVE_2019_5475 的漏洞利用代码，并开始进行尝试性攻击。通过对CVE_2019_5475漏洞的生命周期进行分析后发现，漏洞批量化利用的速度正在提高，如果未能在黄金修补周期内对漏洞进行修补，将有可能很快遭遇蠕虫和恶意攻击程序的攻击。阿里云目前已第一时间上线默认防御策略。背景阿里云安全团队9月6日捕获了一起新漏洞利用，通过对涉及应

导读明代王阳明先生在《传习录》谈为学之道时说：私欲日生，如地上尘，一日不扫，便又有一层。着实用功，便见道无终穷，愈探愈深，必使精白无一毫不彻方可。代码中的"坏味道"，如"私欲"如"灰尘"，每天都在增加，一日不去清除，便会越累越多。如果用功去清除这些"坏味道"，不仅能提高自己的编码水平，也能使代码变得"精白无一

本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验，偏重于实践。嘉宾李样兵，现就职于美菜网基础服务平台组，负责 MQ ，配置中心和任务调度等基础组件开发工作。今天主要从三个方面进行分享：美菜网消息队列的历史基于 RocketMQ 我们做了那些事情同城双活的选型和思考美菜网消息队列的历史美菜网历史上是多套 MQ 并存，Kafka 用于大数

过去二十年，随着改革开放的深化，以及中国的人口红利等因素，中国诞生了大批To C的高市值互联网巨头，2C的领域高速发展，而2B领域一直不温不火。近两年来，在C端流量饱和，B端数字化转型来临的背景下，中国越来越多的科技公司已经慢慢将触角延伸到了B端。“To B or not To B，结果还是To B”已经成为业内探讨的重要话题。作为典型的TO B领域，云计算一直是各巨头的必争之地。过去十年内，云计

Flink产品介绍目前实时计算的产品已经有两种模式，即共享模式和独享模式。这两种模式都是全托管方式，这种托管方式下用户不需要关心整个集群的运维。其次，共享模式和独享模式使用的都是Blink引擎。这两种模式为用户提供的主要功能也类似，都提供开发控制台；开发使用的都是Blink SQL，其中独享模式由于进入了用户的VPC，部署在用户的ECS上，因此可以使用很多底层的API，如UDX；都提供一套的开箱即

最近阿里巴巴分享了《阿里巴巴数据中台实践》这个PPT（自行搜索原始文章），对于数据中台的始作俑者，还是要怀着巨大的敬意去学习的，因此仔细的研读了，希望能发现一些不一样的东西。读这些专业的PPT，实际是非常耗时的，你需要把这些PPT外表的光鲜扒光，死抠上面的每一个字去理解底下隐藏的含义，然后跟你的已有知识体系去对比，看看是否有助于完善自己的认知，对于自己不理解的，还需要经常去检索相关的文档。当然，很

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么，和自建Hadoop平台有什么区别。先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapRe

您好，MaxCompute 2019.8月刊为您带来8月产品、技术最新动态，欢迎阅读。导读【重要发布】8月产品重要发布【文档更新】8月重要文档更新推荐【干货精选】8月精选技术文章推荐【精彩活动技术干货】8月重要活动回顾及技术干货整理【重要发布】8月产品重要发布1. MaxCompute存储降价 查看详情 >>>MaxCompute存储计费于9月1日进行降价，原

本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink PMC，阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划，主要内容包括：Apache Flink Python API 的前世今生和未来发展；Apache Flink Python API 架构及开发环境搭建；Apache Flink Python API

他是阿里云的一位 P8 运维专家，却很有野心得给自己取花名“辟拾（P10）”；他没有华丽的履历，仅凭着 26 年的热爱与坚持，一步一个脚印踏出了属于自己的技术逆袭之路；他爱好清奇，练就了能在 20 秒内从20000个像素块里找出不同颜色像素的“特异功能”；他乐观豁达，一言不合就讲段子的性格让他成为身边同事的“开心果”；临近不惑之年的他，经历过很多故事，但他在用自己的行动向这个世界诠释着什么是 IT