ITPub博客

本文整理自：EasyAgent正式开源啦丨开源送“粽”礼2018年，袋鼠云技术团队决定在技术社区上开源项目，为开源社区贡献力量。同年FlinkX、FlinkStreamSQL相继上线，经过三年的发展，Star数分别达到2.2k和1.5k，位列Flink生态领域前茅，获得广泛的社区支持。三年多的时间里，袋鼠云数栈技术团队一直以技术为核心，坚持开源开放、将数字化技术红利回馈社区的理念，不断的为大家分享

一、解读type执行计划的type表示访问数据类型，有很多种访问类型。1、system表示这一步只返回一行数据，如果这一步的执行对象是一个驱动表或者主表，那么被驱动表或者子查询只是被访问一次。2、const表示这个执行步骤最多只返回一行数据。const通常出现在对主键或唯一索引的等值查询中，例如对表t主键id的查询：3、eq_refeq_ref类型一般意味着在表关联时，被关联表上的关联列走的是主键

一、扩展FlinkSQL实现流与维表的join二、为什么要扩展FlinkSQL？1、实时计算需要完全SQL化SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见，但是支持SQL的实时计算并不多。其实，用SQL开发实时任务可以极大降低数据开发的门槛，在袋鼠云数栈-实时计算模块，我们决定实现完全SQL化。数据计算采用SQL的优势☑ 声明式。用户只需要

使用袋鼠云数栈的某教育行业客户，在之前的信息化过程中建设了多个系统，已经意识到自身数据孤立的现状，面对TB级的数据量，需要更高效的方式进行数据治理和分析，为业务方提供高质量数据。其实，数据治理不仅仅是教育行业用户的痛点，同样也是其他行业进行大数据平台建设和数据应用，最亟需解决的难题。针对这一问题，袋鼠云数栈基于十年实践经验沉淀的多种校验规则，打造了完整的全流程数据质量闭环管理机制，同时支持数据迁移

一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始

一、数据安全2018年6月，《中华人民共和国网络安全法》（以下简称：网安法）和《通用数据保护条例》（以下简称：GDPR）生效。GDPR用法律的力量规定欧盟成员国中实行与个人（个人数据）相关的统一信息治理。为此，条例要求企业加大对信用卡、银行信息及个人健康等数据信息的存储和传输的监控力度，制定数据访问策略，并加强相关审计。“网安法” 第二十一条：国家实行网络安全等级保护制度。网络运营者应当按照网络安

Part1: What is Dependency injection依赖注入定义为组件之间依赖关系由容器在运行期决定，形象的说即由容器动态的将某个依赖关系注入到组件之中在面向对象编程中，我们经常处理的问题就是解耦，控制反转(IoC)就是常用的面向对象编程的设计原则，其中依赖注入是控制反转最常用的实现。目标解决当前类不负责被依赖类实例的创建和初始化。Part2: What is Dependenc

一、从哪里采集数据我们谈大数据、用大数据、让数据产生价值的前提是，我们首先要有数据。我们讲数据中台“存”、“通”、“用”，首先就是“存”，我们要将数据放到中台里，以前是放在数据仓库里，在“存”的基础上，我们会将不同来源不同格式的数据进行梳理、把一个个数据孤岛打通，数据资源形成数据资产，然后根据用户的具体场景，进行数据应用。数据的产生不是凭空而来的，袋鼠云数栈提供离线数据同步采集和实时数据同步采集两

一、前言在做企业服务类(ToB)的产品时，我们经常会遇到如下场景：每个客户拿着他们的需求清单，来咨询我们的产品是否可满足他们的诉求。如图所示：每个客户的需求有重叠的内容，也有不一样的内容，而这些需求，在某一领域均具有较强的通用性。如何满足这些客户需求的同时又能使各个需求沉淀为标准功能，而不仅仅是为了交付项目？这成为ToB类产品经理思考最多的问题。为支撑客户诉求，基本的做法是抽象各个需求，落地为标准

先说一下写着篇文章的契机，是因为回显，复杂表单的回显，让我觉得我对initialValue这个属性是有误解的。一、initialValue的出处和定义initialValue的出处：AntDesign/Form表单件/getFieldDecorator(id，options)装饰器函数/第二个参数options/options.initialValue。关于属性initialValue，官方的解释

「表格存储」是 NoSQL 的数据存储服务，是基于云计算技术构建的一个分布式结构化和半结构化数据的存储和管理服务。表格存储的数据模型以「二维表」为中心。表有行和列的概念，但是与传统数据库不一样，表格存储的表是稀疏的每一行可以有不同的列，可以动态增加或者减少属性列，建表时不需要为表的属性列定义严格的 schema。一、概述OTS的数据迁移可以使用「DataX」完成全量数据迁移。但由于部分数据表的数据

今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起，前景并不是很明朗，不过我那时对计算机还是挺好奇的，觉得电脑上开几个黑窗口，随便敲一堆英文字母,就可以做很多事

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee

如果把企业数字化转型比作一辆自行车，那么技术与数据便是这辆车的两个轮子，骑在车上的则是企业战略、文化以及各种资源，它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战/术如何高明，其最终结果还是要通过这两个轮子落地。DT时代，“大数据”不是强调量大，是指数据来源多、维度多。现在很多系统的数据没法给第三方用，只有打破这种壁垒，才会产生新的价值。在数智化转型过程中，实现数据开放共享，是企业在D

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。二、消息队列：数据流的归宿在实时开发的场景中，来源于各类行为、事件的数据是随着发生时间源源不断如同河流一般进入实时任务并不断产出结果的。传统的异构数据源，

从马车到汽车是为了提升运输效率，而随着时代的发展，如今我们又希望用自动驾驶把驾驶员从开车这项体力劳动中解放出来，增加运行效率，同时也可减少交通事故发生率，这也是企业对于智能运维的诉求。从人工运维到自动化运维是为了减少人力成本，降低操作风险，提高运维效率，但自动化运维的本质依然是人与自动化工具相结合的运维模式，仍有局限性。为了持续地面向大规模、高复杂性的系统提供高质量的运维服务，智能运维（AIOps

2020年春节期间，一场突如其来的疫情在全国蔓延开来，打破了大家原有的工作生活节奏。疫情期间，大家宅在家就能随时看到实时的大数据疫情地图，可以随时刷到自己当前感兴趣的抖音视频，这一切背后依赖的最重要的技术，就是实时大数据处理技术。现在疫情即将过去，国家提出要加快大数据中心等新型基础设施建设，实时大数据处理平台建设成为企业数智化转型过程中越来越重要的部分。一、什么是实时计算在大数据处理领域，通常根据

随着数智化时代的到来，企业需要汇聚各业务板块数据，提供一个强大的中间层为高频多变的业务场景提供支撑。基于此类需求，“数据中台”应运而生，将数据提炼为数据资产，转换成业务需要的数据「血液」。数据中台的建设与运营，通常包含如下活动：数据汇聚、数据加工与提炼、对外提供数据服务这3部分。其中的数据汇聚、数据加工与提炼能力，是由作为数据中台建设基座的离线开发平台提供的。一、应用场景例如，某服装企业需要统计最

一、客户背景客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8数据节点（16C64G）；3主节点（8C32G）2、 集群存在问题分析业务层面    与客户业务人员沟通，业务处理中有几个

一、问题背景一天下午，大家都在忙着各自的事情，突然小组人员都同时收到了短信提醒，以为是公司发奖金了，很是开心，咋一看“某某客户服务器cpu使用率100%，请及时处理！”原来是告警短信，同时看到钉钉群里发出了大量的告警信息……二、故障回顾告警提示”CPU使用率到达98%” ，打开阿里云控制台，通过云监控发现在下午15:06-16:46左右，云上机器某四台集群服务器cpu使用率波动较大（先降后升），负