ITPub博客

一、JM启动过程1、从日志角度分析启动流程1）client生成jobGraph详情请参考：https://www.bilibili.com/video/BV13K4y1P7ri2）Yarn RM接收到请求(和yarn交互不重点分析)3）在被分配的节点上的工作目录下启动launch_container.sh4）在perJob模式下，最终调用的是YarnJobClusterEntrypoint5）初始

一、数据安全2018年6月，《中华人民共和国网络安全法》（以下简称：网安法）和《通用数据保护条例》（以下简称：GDPR）生效。GDPR用法律的力量规定欧盟成员国中实行与个人（个人数据）相关的统一信息治理。为此，条例要求企业加大对信用卡、银行信息及个人健康等数据信息的存储和传输的监控力度，制定数据访问策略，并加强相关审计。“网安法” 第二十一条：国家实行网络安全等级保护制度。网络运营者应当按照网络安

Part1: What is Dependency injection依赖注入定义为组件之间依赖关系由容器在运行期决定，形象的说即由容器动态的将某个依赖关系注入到组件之中在面向对象编程中，我们经常处理的问题就是解耦，控制反转(IoC)就是常用的面向对象编程的设计原则，其中依赖注入是控制反转最常用的实现。目标解决当前类不负责被依赖类实例的创建和初始化。Part2: What is Dependenc

一、从哪里采集数据我们谈大数据、用大数据、让数据产生价值的前提是，我们首先要有数据。我们讲数据中台“存”、“通”、“用”，首先就是“存”，我们要将数据放到中台里，以前是放在数据仓库里，在“存”的基础上，我们会将不同来源不同格式的数据进行梳理、把一个个数据孤岛打通，数据资源形成数据资产，然后根据用户的具体场景，进行数据应用。数据的产生不是凭空而来的，袋鼠云数栈提供离线数据同步采集和实时数据同步采集两

一、前言在做企业服务类(ToB)的产品时，我们经常会遇到如下场景：每个客户拿着他们的需求清单，来咨询我们的产品是否可满足他们的诉求。如图所示：每个客户的需求有重叠的内容，也有不一样的内容，而这些需求，在某一领域均具有较强的通用性。如何满足这些客户需求的同时又能使各个需求沉淀为标准功能，而不仅仅是为了交付项目？这成为ToB类产品经理思考最多的问题。为支撑客户诉求，基本的做法是抽象各个需求，落地为标准

先说一下写着篇文章的契机，是因为回显，复杂表单的回显，让我觉得我对initialValue这个属性是有误解的。一、initialValue的出处和定义initialValue的出处：AntDesign/Form表单件/getFieldDecorator(id，options)装饰器函数/第二个参数options/options.initialValue。关于属性initialValue，官方的解释

「表格存储」是 NoSQL 的数据存储服务，是基于云计算技术构建的一个分布式结构化和半结构化数据的存储和管理服务。表格存储的数据模型以「二维表」为中心。表有行和列的概念，但是与传统数据库不一样，表格存储的表是稀疏的每一行可以有不同的列，可以动态增加或者减少属性列，建表时不需要为表的属性列定义严格的 schema。一、概述OTS的数据迁移可以使用「DataX」完成全量数据迁移。但由于部分数据表的数据

今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起，前景并不是很明朗，不过我那时对计算机还是挺好奇的，觉得电脑上开几个黑窗口，随便敲一堆英文字母,就可以做很多事

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee

如果把企业数字化转型比作一辆自行车，那么技术与数据便是这辆车的两个轮子，骑在车上的则是企业战略、文化以及各种资源，它们决定了转型将走向哪个方向。不管数字化转型之路多么正确、战/术如何高明，其最终结果还是要通过这两个轮子落地。DT时代，“大数据”不是强调量大，是指数据来源多、维度多。现在很多系统的数据没法给第三方用，只有打破这种壁垒，才会产生新的价值。在数智化转型过程中，实现数据开放共享，是企业在D

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。二、消息队列：数据流的归宿在实时开发的场景中，来源于各类行为、事件的数据是随着发生时间源源不断如同河流一般进入实时任务并不断产出结果的。传统的异构数据源，

从马车到汽车是为了提升运输效率，而随着时代的发展，如今我们又希望用自动驾驶把驾驶员从开车这项体力劳动中解放出来，增加运行效率，同时也可减少交通事故发生率，这也是企业对于智能运维的诉求。从人工运维到自动化运维是为了减少人力成本，降低操作风险，提高运维效率，但自动化运维的本质依然是人与自动化工具相结合的运维模式，仍有局限性。为了持续地面向大规模、高复杂性的系统提供高质量的运维服务，智能运维（AIOps

2020年春节期间，一场突如其来的疫情在全国蔓延开来，打破了大家原有的工作生活节奏。疫情期间，大家宅在家就能随时看到实时的大数据疫情地图，可以随时刷到自己当前感兴趣的抖音视频，这一切背后依赖的最重要的技术，就是实时大数据处理技术。现在疫情即将过去，国家提出要加快大数据中心等新型基础设施建设，实时大数据处理平台建设成为企业数智化转型过程中越来越重要的部分。一、什么是实时计算在大数据处理领域，通常根据

随着数智化时代的到来，企业需要汇聚各业务板块数据，提供一个强大的中间层为高频多变的业务场景提供支撑。基于此类需求，“数据中台”应运而生，将数据提炼为数据资产，转换成业务需要的数据「血液」。数据中台的建设与运营，通常包含如下活动：数据汇聚、数据加工与提炼、对外提供数据服务这3部分。其中的数据汇聚、数据加工与提炼能力，是由作为数据中台建设基座的离线开发平台提供的。一、应用场景例如，某服装企业需要统计最

一、客户背景客户使用ES来进行数据存储、快速查询业务订单记录，但是经常会出现业务高峰期ES集群的cpu负载、内存使用均较高，查询延迟大，导致前端业务访问出现大量超时的情况，极大影响其客户使用体验。部分监控如下图：1、 集群架构如下：集群节点配置：8数据节点（16C64G）；3主节点（8C32G）2、 集群存在问题分析业务层面    与客户业务人员沟通，业务处理中有几个

一、问题背景一天下午，大家都在忙着各自的事情，突然小组人员都同时收到了短信提醒，以为是公司发奖金了，很是开心，咋一看“某某客户服务器cpu使用率100%，请及时处理！”原来是告警短信，同时看到钉钉群里发出了大量的告警信息……二、故障回顾告警提示”CPU使用率到达98%” ，打开阿里云控制台，通过云监控发现在下午15:06-16:46左右，云上机器某四台集群服务器cpu使用率波动较大（先降后升），负

MySQL是当下最流行的关系型数据库之一，互联网高速发展的今天，MySQL数据库在电商、金融等诸多行业的生产系统中被广泛使用。在实际的开发运维过程中，想必大家也常常会碰到慢SQL的困扰。一条性能不好的SQL，往往会带来过大的性能开销，进而引起整个操作系统资源的过度使用，甚至造成会话堆积，引发线上故障。而在SQL调优的场景中，一类比较常见的问题，就是隐式类型转换。那什么是隐式转换呢？在MySQL中，

本文整理自：技术干货丨谷歌插件开发探索及其应用数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！gitee开源项目：https://gitee.com/dtstack_dev_0/flinkxgithub开源项目：https://github.com/DTStack/flinkxFlinkX是一个基于

本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL b

本文整理自：袋鼠云技术荟 | 数据安全(1)：混合云环境数据库备份容灾实现数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变