ITPub博客

MySQL是当下最流行的关系型数据库之一，互联网高速发展的今天，MySQL数据库在电商、金融等诸多行业的生产系统中被广泛使用。在实际的开发运维过程中，想必大家也常常会碰到慢SQL的困扰。一条性能不好的SQL，往往会带来过大的性能开销，进而引起整个操作系统资源的过度使用，甚至造成会话堆积，引发线上故障。而在SQL调优的场景中，一类比较常见的问题，就是隐式类型转换。那什么是隐式转换呢？在MySQL中，

本文整理自：技术干货丨谷歌插件开发探索及其应用数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，记得给我们点个star！star！star！gitee开源项目：https://gitee.com/dtstack_dev_0/flinkxgithub开源项目：https://github.com/DTStack/flinkxFlinkX是一个基于

本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL b

本文整理自：袋鼠云技术荟 | 数据安全(1)：混合云环境数据库备份容灾实现数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变

本文整理自：袋鼠云技术荟 | SQL优化案例(2)：OR条件优化数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、

一、写在前面早在2017年，数栈当时没有这么多子模块，只有【离线开发+实时开发】2个部分，所以在导航设计上不存在问题，仅仅按照数据开发的通用设计逻辑即可。在2018年，增加了数据质量、数据API等几个模块，涵盖多个模块，整体的导航规划就变得很重要，搞得好的话，增加新的模块，可以继承现有的设计，搞不好，后续的改动就会比较大，甚至可能推翻重来，所以导航的重要性就在这里。二、设计思考既然包含了多个模块，

一、问题背景某日袋鼠云运维小哥进行例行运维巡检，通过监控视图发现客户应用服务器cpu使用率突然呈上升趋势。通过专属服务群第一时间与业务方联系，与业务方确认是否有正在执行的定时任务，或者大范围拉取账单等业务操作。然而仔细分析了业务日志后，确认当时业务上并没有进行会消耗大量计算资源和网络资源的操作。二、异常现象随着时间推移，运维人员收到不同应用系统主机系统资源占用过高的告警通知，但客户反馈业务上并没有

Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。1. 创建一个普通表table test

本文将带领大家解析babel-plugin-import 实现按需加载的完整流程，解开业界所认可 babel 插件的面纱。首先供上babel-plugin-import插件一、初见萌芽首先 babel-plugin-import 是为了解决在打包过程中把项目中引用到的外部组件或功能库全量打包，从而导致编译结束后包容量过大的问题，如下图所示：babel-plugin-import 插件源码由两个文件

一、什么是FlinkXFlinkX是一款基于Flink的分布式离线/实时数据同步插件，可实现多种异构数据源高效的数据同步，其由袋鼠云于2016年初步研发完成，目前有稳定的研发团队持续维护，已在Github上开源（开源地址详见文章末尾），并维护该开源社区。目前已完成批流统一，离线计算与流计算的数据同步任务都可基于FlinkX实现。FlinkX将不同的数据源库抽象成不同的Reader插件，目标库抽象成

一、RDB模块介绍与演示针对关系型数据库，FlinkX-RDB封装了基于JDBC规范的查询与插入等公共操作，各个数据源可通过继承FlinkX-RDB模块实现各自逻辑，目前已支持绝大部分市面上的RDB数据源：    MySQL    Oracle    SqlServer    P

公交车伴随着我们的日常生活已是随处可见，不同路线的公交车根据各自的时间表有序发出，到达站点，接上站台的乘客再缓缓驶向下一站……早高峰会有短区间的加班车，发车间隔也更短，夜半时分的班次则间隔更长。这一切都服从于公交总站的调度。在大数据平台中，也会有各式各样的任务需要按照一定的时间间隔和先后顺序有序进行，而管理这一切的就是调度引擎。它不仅要让任务按时按点的执行，更要面对种种复杂的场景，例如：&nbsp

一、FlinkX实时采集功能的基本介绍首先为大家介绍下FlinkX实时模块的分类，如下图所示：1、实时采集模块(CDC)1）MySQL Binlog插件利用阿里开源的Canal组件实时从MySQL中捕获变更数据。2）PostgreSQL Wal插件PostgreSQL 实时采集是基于 PostgreSQL的逻辑复制以及逻辑解码功能来完成的。逻辑复制同步数据的原理是，在Wal日志产生的数据库上，由逻

2011年的时候我们在百度搜索Hadoop相关的问题每天只有零星几个，2015年再去百度搜索Hadoop已经有800多万个问题，而如今已然已经过亿了，Hadoop已成为大数据必备的基础设施了。Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。近年大型IT公司，如EMC、Microsof

一、实时开发常见问题1、一个实时计算任务该分配多少资源？建议：一些简单ETL任务，并且源数据流量在一定范围内， tm个数1、全局并行度1、内存1G。分析：    全局并行度为1，对于简单ETL任务会有operator chain，在一个task(线程)中运行、减少线程切换、减少消息序列化/反序列化等，该类问题的瓶颈一般在下游写入端。   

FlinkX-Oracle Logminer模块是FlinkX基于Logminer对Oracle重做日志进行实时采集分析，可对Oracle进行实时同步也可以通过指定SCN或者时间戳从某个节点进行同步，同时通过记录SCN号支持续跑功能。一、Logminer介绍与使用Logminer是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle重做日志文件（归档日

“云原生”，很多人会对这个新名词感到困惑，到底什么是云原生，云原生又能给我们带来什么呢？其实云原生的概念最早是由来自Pivotal的MattStine于2013年首次提出，这是他根据自身多年的架构和咨询经验总结出来的一个思想集合，得到了开源社区的不断完善，并被一直延续使用至今。一、什么是云原生那么到底什么是“云原生”呢？我们试图先从字面意思理解“云（Cloud）”和“原生（Native）”。“云（