-
Flink 调用 env.execute() 的场景
介绍只要代码中调用了 DataStreamAPI，就需要 execute，否则不需要
-
Flink 分区算子和分区器的介绍
概述在Flink中，分区算子用于控制数据流的分区方式。分区器定义了如何将数据流中的元素分配到不同的并行任务中。Flink提供了多种内置的分区算子和分区器，包括：shuffle：随机分区。将数据流中的元素随机分配到不同的并行任务中。rebalance：循环分区。将数据流中的元素循环分配到不同的并行任务中。rescale：局部循环分区。与rebalance类似，但只在相邻的任务之间进行循环分配。b
-
Flink window join 介绍
概述Flink的窗口联结（window join）算子允许您定义时间窗口，并将两条流共享一个公共键（key）的数据放在窗口中进行配对处理。这些窗口可以使用窗口分配器定义，并对来自两个流的元素进行评估。 代码示例 import org.apache.flink.api.common.functions.JoinFunction; import org.apache.flink.api.ja
-
Flink 写 Kafka保证精确一次的方式
代码示例```javapublic class SinkKafka { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setPar
-
大数据技术 - FlinkSQL join的方式
介绍Flink SQL 支持多种数据 Join 方式，主要包括以下三种：动态表（流）与动态表（流）的 Join，动态表（流）与外部维表（比如 Redis）的 Join，以及动态表字段的列转行（一种特殊的 Join）。细分 Flink SQL 支持的 Join 包括：Regular Join，Interval Join，Temporal Join，Lookup Join，Array Expans
-
大数据技术 - Flink和Lambda架构的关系
介绍Flink不是Lambda架构，而是一种流批统一的架构。Lambda架构是一种数据处理架构，它利用批处理和流处理两种方法来处理大量的数据。Flink是一个用于在无边界和有边界数据流上进行有状态计算的框架和分布式处理引擎。3 Flink可以同时支持批处理和流处理，而不需要维护两套引擎和代码，从而降低了系统的复杂性和可维护性。 Flink也可以使用SQL和Table API来对流和批进行统一的
-
大数据技术 - Lambda架构
介绍Lambda架构是一种数据处理架构，它利用批处理和流处理两种方法来处理大量的数据。这种架构的目的是平衡延迟、吞吐量和容错性，通过批处理提供完整和准确的批数据视图，同时通过实时流处理提供最新数据的视图。这两种视图可以在展示之前进行合并。Lambda架构由三层组成：批处理层、速度（或实时）处理层和服务层。批处理层：使用分布式处理系统预先计算结果，可以处理非常大量的数据。批处理层的目标是通过能够
-
袋鼠云产品功能更新报告06期｜数栈产品功能升级，做产品我们是认真的！
第06期袋鼠云产品功能更新报告来啦！包括对 EasyMR 监控告警功能的更新，以及对离线开发平台表生命周期逻辑的优化等，力求满足不同行业用户的更多需求，为用户带来极/致的产品使用体验。
-
一站式运维管家 ChengYing 主机接入原理解析
之前的文章中，我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容，本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣的开发者更好地了解和使用一站式全自动化运维管家 ChengYing。主机接入流程在部署完 ChengYing 之后，从集群进去，进入主机资源，进行集群编辑之后，开始主机接入流程。具体的接入过
-
Flink - Lookup join快的原理
介绍Lookup Join 是一种常用的等值 JOIN 算法，它通常用于维表关联。它的原理是基于 JOIN 算子执行时的时间点查询右表的数据进行关联。它只支持等值 JOIN。Lookup Join 的快速性主要来自于它能够快速查询右表中与左表中的数据匹配的数据。例如，对于外表中的每批数据，它可以将这一批数据的 JOIN Key 拼成一个 IN (…) 条件，然后加到内表的查询中，从而快速查询出
-
基于袋鼠云实时开发平台开发 FlinkSQL 任务的实践探索
袋鼠云实时开发平台StreamWorks，⼀直致⼒于降低 FlinkSQL 的开发门槛，让更多的数据开发掌握实时开发能⼒，普及实时计算的应⽤。本文为大家介绍在袋鼠云实时开发平台开发 FlinkSQL 任务的四种⽅式。
-
大数据技术 - Openjob
概述Openjob 是一个分布式、高性能的任务调度框架，支持多种 cronjob、延迟任务、工作流、轻量级分布式计算、无限水平扩展，具有高可扩展性和容错性。还具有权限管理、强大的报警监控，并支持多种语言 。Openjob 具有高可靠性，采用无状态设计，使用 Master/Worker 架构，支持多种数据库（MySQL/PostgreSQL/Oracle）。系统使用一致性分片算法，无锁设计，任务
-
Flink 与 StarRocks 的数据类型映射关系
类型映射Flink type StarRocks type BOOLEAN BOOLEAN TINYINT TINYINT SMALLINT SMALLINT INTEGER INTEGER BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE DECIMAL DECIMAL BINARY
-
云服务器与物理机有哪些区别
大家都知道服务器分为云服务器以及物理机，那么这两者有什么区别呢？企业在选择方面都是需要考虑很多因素，物理机就是独立的一台服务器，可以理解成物理机为一个大房子，这个房子的归属权就在你手里，而云服务器是大房子里的一个房间。服务器具有高速的CPU运算能力、长时间的可靠运行，一般来说服务器都具备承担响应服务请求、承担服务、保障服务的能力。云服务器可为运行最复杂的Web应用程序，即时调度所需的计算资源。云服
-
干货｜三个维度详解 Taier 本地调试原理和实践
在平时和开发者们交流的过程中，发现许多开发朋友尤其是新入门 Taier 的开发者，对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题，服务编译，配置&本地运行，如何在 Taier 运行 Flink-standalone，进行简单的介绍，希望和大家共同交流学习。服务编译在本章将介绍服务编译中的两大插件 WorkerPlugins 及 DataSourcePlugin，以及
-
Kafka SQL Connector的介绍
概述Kafka SQL Connector 分为 Kafka SQL Connector 和 Upsert Kafka SQL Connector 功能Upsert Kafka Connector支持以 upsert 方式从 Kafka topic 中读写数据Kafka Connector支持从 Kafka topic 中读写数据 区别a）建表语句的主键i）Kafka Connector
-
Flink和Kafka连接时的精准一次保证
介绍Flink和Kafka连接时可以实现精que一次（exactly-once）的保证。这是通过Flink的检查点（checkpoint）机制和Kafka的事务机制来实现的。在Flink内部，检查点机制可以保证状态和处理结果的exactly-once语义。在输入端，Kafka可以对数据进行持久化保存，并可以重置偏移量（offset）。因此，我们可以在Source任务（FlinkKafkaCon
-
Flink SQL 的数据脱敏
介绍Flink SQL支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。这种解决方案类似于离线数仓Hive中的Ranger Column Masking方案。数据脱敏（Data Masking）是一种数据安全技术，用于保护敏感数据，以防止未经授权的访问。该技术通过将敏感数据替换为虚假数据或不可识别的数据来实现。例如，可以使用数据脱敏技术将信用卡号码、社会安全号码等敏感信息替
-
Flink解决Flink Table & SQL维表Join
介绍Flink SQL支持在动态表上进行复杂且灵活的Join操作。其中，维表Join是一种常见的Join操作，它允许您将一个流表与一个外部维表进行关联。在Flink SQL中，可以使用Temporal Table Join语法来实现维表Join。Temporal Table Join允许您将一个流表与一个外部维表进行关联，以便为实时计算提供数据关联查询。需要注意的是，目前Flink SQL的维
-
大数据技术 - DolphinScheduler 调用flink以及api
介绍DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度系统，它致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。它支持多种任务类型，包括Shell、MR、Spark、SQL等，并且支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作。它还支持集群HA，通过ZooK
