-
大数据技术 - NIFI
介绍NIFI是一个由Apache基金会开发的数据流处理和分发系统，它可以帮助您自动化管理系统间的数据流，支持从多种数据源动态拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能 。特点支持优先排队、数据缓冲和背压，可以根据数据流的速度和压力进行自动调节。支持数据跟踪，可以查看数据流的历史记录、状态和统计信息。支持租户隔离，可以为不同的用户或组织分配不同的
-
IDEA 运行错误信息：scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscal...
错误信息：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.f
-
Flink kafka 数据序列化错误问题
错误信息：2023-08-02 16:17:29 org.apache.kafka.common.KafkaException: Failed to construct kafka producer at org.apache.kafka.clients.producer.Ka
-
直击运维痛点，大数据计算引擎 EasyMR 的监控告警设计优化之路
当企业的业务发展到一定的阶段时，在系统中引入监控告警系统来对系统/业务进行监控是必备的流程。没有监控或者没有一个好的监控，会导致开发人员无法快速判断系统是否健康；告警的实质则是“把人当服务用”，用告警通知人的方式去干预系统达到修正的目的。监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中都是至关重要的一环。在新版本的 EasyMR 中袋鼠云开发团队也对监控告警功能进行了全新的优化，通过本文
-
Flink cdc 读取MySQL，lock table问题
解决方案：使用snapshot.locking.mode参数：这个参数可以设置全量阶段的锁模式，有三个可选值：none、minimal和extended。默认值是extended，表示在全量阶段会锁住所有表，不允许其他客户端进行DML操作。如果设置为minimal，表示只锁住正在读取的表，其他表可以正常操作。如果设置为none，表示不锁任何表，但是可能会导致数据不一致。使用snapshot.new
-
Flink SQL - 时间属性的介绍
介绍在 Flink 的 Table API 和 SQL 中，基于时间的操作（例如时间窗口）需要定义相关的时间语义和时间数据来源信息。为了实现这一点，表中会提供一个逻辑上的时间字段，专门用来在表处理程序中指示时间。这个字段被称为时间属性（time attribute），它是每个表模式结构（schema）的一部分。时间属性可以在创建表的 DDL 中直接定义为一个字段，也可以在 DataStream 转
-
HBase Compaction 原理与线上调优实践
本文对 HBase Compaction 的原理、流程以及限流的策略进行了详细的介绍，列举了几个线上进行调优的案例，最后对 Compaction 的相关参数进行了总结。
-
高性能、高扩展、高稳定：解读 EasyMR 大数据组件自定义可扩展能力
袋鼠云自主研发的大数据计算引擎EasyMR 的产品包自定义可扩展能力，为企业提供了定制化大数据中台的新途径，具有丰富性、灵活性、可扩展性和稳定性等价值，为企业带来更准确的洞察和决策，赢得竞争优势。
-
Hadoop为何受到质疑？
在云原生引领的下一个黄金时代，用户不再为Hadoop所面临的管理、安全和维护等问题而烦恼。面对大数据领导势力更替与新浪潮，我们今天就来聊一聊Hadoop的兴衰，以及如今Hadoop为何会受到质疑?
-
Flink SQL - JOIN 查询
介绍Flink SQL 中的 Join 查询是一种数据关联方式，用于从两个或多个表中获取数据并组合成一个结果表。Join 查询可以按照不同的条件和类型进行关联。用法Regular Join：这是最常见的 Join 类型，可以按照一个或多个字段或表达式对两个动态表进行等值连接，并对每个连接的结果进行输出。Regular Join 支持内连接（Inner Join）、左外连接（Left Outer J
-
Flink SQL - Deduplication 去重
介绍Flink SQL 中的 Deduplication 是一种数据清洗方式，用于从数据流中去除重复的数据。Deduplication 可以提高数据的质量和准确性，也可以节省存储空间和提高性能。语法SELECT * FROM ( SELECT *, ROW_NUMBER() OVE
-
Flink SQL - TOP-N 语法
介绍Flink SQL 中的 Top-N 是一种查询方式，用于从数据流中找出最大或最小的 N 个值。Top-N 可以按照不同的维度和条件进行筛选和排序。用法按照时间窗口进行 Top-N：使用 OVER 子句和窗口函数，例如 TUMBLE、HOP、CUMULATE 等，来指定一个固定或滑动的时间范围，然后对每个窗口内的数据进行 Top-N。例如：SELECT&
-
Flink SQL - Over 聚合
介绍Flink SQL 中的 Over 聚合是一种使用 Over 子句的开窗函数，用于对数据按照不同的维度和范围进行分组和聚合。Over 聚合可以保留原始字段，不像分组聚合只能输出聚合结果和分组字段。Over 聚合的语法如下：SELECT agg_func(agg_col) OVER ( [PARTITION BY col
-
Flink SQL - 分组窗口聚合 TVF
介绍Flink SQL 中的分组窗口聚合 TVF 是一种新的窗口聚合方式，用于替代旧版的窗口分组语法。TVF 是表值函数的缩写，表示返回值是一张表的函数。窗口聚合 TVF 可以按照不同类型的窗口函数对数据进行分组和聚合，例如：TUMBLE：滚动窗口函数，按照固定的时间间隔对数据进行分组和聚合。例如：SELECT window_start, window_end, SU
-
Flink SQL - 分组聚合
介绍Flink SQL 支持多种分组聚合的方式，用于对数据按照不同的维度进行统计和计算。分组聚合是 SQL 中常用的数据分析方法，可以使用各种内置或自定义的聚合函数，如 COUNT、SUM、AVG、MAX、MIN 等。Flink SQL 中的分组聚合可以分为以下几种：简单的 GROUP BY 子句：这是最基本的分组聚合方式，可以按照一个或多个字段或表达式对数
-
Flink - Catalog 的介绍
介绍Catalog 是存储元数据的组件，可以管理和访问数据库、表、视图、函数等信息。Catalog 可以提供一个统一的 API，让用户可以从 Table API 和 SQL 查询语句中使用元数据。Catalog 可以引用外部系统中的元数据，不需要在 Flink 中重复定义，也可以将 Flink 中的元数据存储到外部系统中。Catalog 可以简化用户使用 Flink 的步骤，提升用户体验。Cata
-
Flink - 表和流的转换
流（DataStream）转换成表（Table）调用fromDataStream()方法 // 读取数据源 SingleOutputStreamOperator<Sensor> sensor = env.fromSource(...) // 将数据流转换成表 Table sensorTable = tableEnv.fromDataStream(sensor); 由于
-
Flink - 自定义函数（UDF）
介绍Flink 自定义函数（UDF），根据我的搜索结果，有以下几个方面：UDF 是一种扩展开发机制，可以用来在查询语句里调用难以用其他方式表达的频繁使用或自定义的逻辑。UDF 可以用 JVM 语言（例如 Java 或 Scala）或 Python 实现，实现者可以在 UDF 中使用任意第三方库。UDF 有不同的种类，例如标量函数、表值函数、聚合函数、表值聚合函数和异步表值函数，它们分别对应不同
-
揭秘｜来看看袋鼠云数栈内部的资产血缘方案设计与实现
本文聚焦资产血缘的实现方案，并介绍袋鼠云数栈在数据血缘建设过程中所遇到的挑战和技术实现，想了解数据资产和数据血缘的朋友不要错过～
-
Flink SQL 使用Table API需要的依赖
maven 依赖：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-java-bridge</artifactId> <version>${flink.version}</version>
