-
大数据技术 - StarRocks内部实时更新技术的方案
介绍StarRocks是一种新一代的极速全场景MPP数据库，它设计和实现了Primary Key模型，让数据可以更好地实时更新，并且具备极速的查询能力。在大规模实时数据进行写入时，查询性能可以做到其他行业领先OLAP数据库的3-5倍。当前StarRocks已经在超过110家大型用户的核心业务场景下进行大规模使用，其中很多用户已成功采用Primary Key模型提升了实时分析能力，如腾讯、Air
-
性能提升30%！袋鼠云数栈基于 Apache Hudi 的性能优化实战解析
作为一站式大数据基础软件的袋鼠云数栈，基于 Apache Hudi 为客户提供了存量数据迁移、数据入湖、文件治理等完整支持能力。在这个过程中，积累了一些 Hudi 性能优化的经验，希望通过本文与大家分享交流。
-
大文件上传功能在标签服务的简单应用和代码实现
各位看官大家好，今天给大家分享的又是一篇实战文章，希望大家能够喜欢。目前「袋鼠云客户数据洞察平台」标签服务的群组按种类划分，可以分为三大类，分别是实时群组、动态群组以及静态群组。如果按创建方式划分则有两种，分别是通过圈群的方式创建以及通过上传本地文件进行维度匹配的方式创建得到本地群组，其中本地群组属于静态群组。除了本地群组外的其他群组目前都是采用圈群的方式生成匹配 SQL，然后执行相应的 SQL
-
Flink sql 实现orcle维表的异步关联
介绍演示如何使用 Apache Flink SQL 实现从 Kafka 源读取数据，通过 Oracle 维表进行关联，最后将结果写入 Kafka Sink。 代码示例 public class FlinkOracleLookupExample { public static void main(String[] args) throws Exception { // 设
-
Flink JDBC 连接Oracle的数据库
概述可以使用 Flink 的 JDBC 连接器来连接到 Oracle 数据库。要使用 JDBC 连接器，您需要在项目的构建配置中添加对 flink-connector-jdbc 的依赖，并且还需要添加一个用于连接到指定数据库的驱动程序依赖。例如，要连接到 Oracle 数据库，您需要添加以下依赖：<dependency> <groupId>org.apache.fli
-
一份配置轻松搞定表单渲染，配置式表单渲染器在袋鼠云的实现思路与实践
本文将为大家详细介绍配置式表单渲染器在袋鼠云的实现思路与实践，在对接新的数据源时，可以不再关心表单渲染相关问题，从数据源中心新建数据源一直到数据源在数据同步模块的应用，全链路的表单都可以通过配置化的方式解决。
-
Flink - 自定义连接器Table API Connectors
介绍当使用Flink的Table API时，可以通过实现自定义连接器（Table API Connectors）来连接外部系统或数据源。下面是一个简单的代码示例，展示了如何创建一个自定义连接器来连接到一个模拟的外部系统。 代码示例 public class CustomTableSource implements BatchTableSource, Projectab
-
Linux会替代Windows吗？
Windows用户们，去还是留？Windows 依然是高居榜首的桌面操作系统，占据 90% 以上的市场份额，远超 macOS 和 Linux 。从数据来看，尽管 linux 并不是 Windows 的头号接班人，但近几年越来越多用户转向 Ubuntu、Linux Mint 等发行版，的确为 Linux 带来了不小的增长。面对 Windows 10 发布以来招致的诸多批评，微软后
-
ChunJun FTP Connector 功能扩展解读
本文从 FTP Connector 的功能详解，自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享，对ChunJun感兴趣的同学不要错过～
-
大数据技术 - ceph
介绍Ceph 是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph 项目最早起源于 Sage 就读博士期间的工作（最早的成果于 2004 年发表），并随后贡献给开源社区。Ceph 的架构包括几个不同的守护进程，每个守护进程负责 Ceph 的一个独特功能。这些守护进程包括：RADOS（Reliable Autonomic Distributed Object Stor
-
Flink 自定义触发器
概述在 Flink 中，您可以通过继承 Trigger 类并重写其方法来实现自定义触发器。下面是一个简单的自定义触发器的示例代码：```javaimport org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.streaming.api.windowing.triggers.Trigger;i
-
Flink 任务出现反压，如何排查
排查方案如果您的 Flink 任务出现反压，您可以通过以下方法进行排查：通过 Flink Web UI 自带的反压监控面板来定位造成反压的节点。在 Flink web ui 中，定位到一个具体的算子之后，查看 BackPressure 模块，通过颜色和数值来判断任务的繁忙和反压情况。通过 Flink Task Metrics 来定位造成反压的节点。在定位到造成反压的节点后，您可以采取一些措施来
-
大数据技术 - MongoDB
介绍MongoDB是一种分布式数据库，它的核心特点是高可用性、水平扩展和地理分布。它提供了灵活的文档数据模型，支持临时查询、二级索引和实时聚合，为您提供了强大的访问和分析数据的能力。MongoDB是免费使用的。MongoDB还提供了一个多云开发者数据平台，它包含了一整套云数据库服务，可以满足您从事务性到分析性，从搜索到数据可视化等各种用例的需求。此外，MongoDB还提供了移动端实时数据同步和
-
如何写出简单高效的 Flink SQL
Flink SQL Insight在 Flink SQL Insight 部分，Flink 作为流批一体计算引擎，给大家提供了统一的 API，统一的算子描述，以及统一的调度。但 Flink 算子的底层仍有一些细微的差别。对于一个批算子而言，它的输入是一个有限数据集。批算子会基于完整数据集进行计算，计算过程中如果内存装不下，数据会 Spill 到磁盘。对于流算子而言，它的输入是一个无限数据集。与
-
大数据技术 - Apache Paimon 的介绍
介绍Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。它采用开放的数据格式和技术理念，可以与 Apache Flink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。 特点它是一项流式数据湖存储技术，可以为用户提
-
大数据技术 - Apache Flink ML 的介绍
介绍Flink ML 是一个基于 DataStream 的迭代引擎和机器学习算法库。它旨在为用户提供高效的离线和在线算法库。Flink ML 实现了端到端的性能测试框架，是保障整个算法性能的基础。它提供了完整的 Python 支持，用户可以通过 Python 提交任务。Flink ML 库包括以下几部分内容：概况，Flink ML 迭代执行引擎，Flink ML 高效算法库。 特点它是一个基
-
Apache Hudi 在袋鼠云数据湖平台的设计与实践
在大数据处理中，实时数据分析是一个重要的需求。本文为大家介绍袋鼠云基于 Hudi 构建数据湖的整体方案架构及其在实时数据仓库处理方面的特点，并且为大家展示一个使用 Apache Hudi 的简单示例，便于新手上路。
-
Flink 中 map 和 mapPartition的区别
介绍在 Flink 中，map 和 mapPartition 都是转换操作，它们可以对数据流中的元素进行处理和转换。它们之间的主要区别在于处理数据的粒度不同。 mapmap 转换操作接收一个 MapFunction，它对数据流中的每个元素进行处理。MapFunction 的 map 方法接收一个输入元素，并返回一个输出元素。例如，下面的代码使用 map 转换操作将输入流中的每个整数乘以 2：
-
数据仓库、数据平台、数据中台、数据湖的概念和区别
介绍数据仓库：数据仓库是一种用于存储、管理和分析结构化数据的大型集中式存储库。它通常用于支持商业智能和决策支持应用程序。数据仓库中的数据通常经过转换和清洗，以便更好地支持分析查询。数据平台：数据平台是一种提供数据存储、管理、处理和分析能力的技术平台。它可以包括多种技术组件，如数据库、数据仓库、大数据处理引擎、数据集成工具等。数据平台旨在支持企业的整个数据生命周期，从数据采集到数据分析。数据中台
-
大数据技术 - Azure Data Lake 数据湖的介绍
介绍Azure Data Lake 是一种无限制的数据湖，用于支持智能行动。它可以存储和分析 PB 级文件和万亿级对象，轻松调试和优化大数据程序。您可以在几秒钟内启动，即时扩展，并按作业付费。它支持使用简单性开发大规模并行程序，并具有企业级安全性、审核和支持Azure Data Lake 包括所有必要的功能，使开发人员、数据科学家和分析师能够轻松存储任何大小、形状和速度的数据，并在各种平台和语
