-
一文了解袋鼠云在实时数据湖上的探索与实践
近日，袋鼠云大数据引擎专家郝卫亮，为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享，帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据处理能力，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战。因此，袋鼠云基于自研的一站式大数据基础软件——数栈提出相应的实时数据湖解决方
-
@全体开发者们，ChunJun 有奖征文，精美奖品，快来参加！
2022年4月，在 FlinkX 进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为 ChunJun。到目前为止，ChunJun 正式更名上线已经过了一年多了。作为一款稳定、易⽤、⾼效、批流⼀体的数据集成框架，相信各位关注着、喜爱着、使用着 ChunJun 的开发者们在过去的这段日子里肯定和 ChunJun 发生了众多有趣的故事。本着促进社区活跃，倾听用户诉求的目的，我们将
-
Hadoop主要是用来做什么的呢？
Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下开发分布式程序。主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop用途：海量数据存储HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（High throughput）来访问数据，适合那些有着超大数据集（large data se
-
“数据驱动”时代，企业为什么需要实时湖仓？
随着业务对数据时效性要求的提高，许多企业的实时任务体量，正在逐步接近存量离线任务。实时湖仓解决方案，利用湖存储的特性和 Flink 的流批计算能力，统一存储和计算，无疑会是企业当前最优的选择。
-
大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列
在Yarn框架中，资源调度是十分重要的内容，EasyMR出于简单高效原则，开放了资源队列管理功能。本文就为大家详细介绍大数据计算引擎 EasyMR 是如何简单高效管理 Yarn 资源队列的。
-
直播预约丨《实时湖仓实践五讲》第一讲：企业为什么需要实时湖仓？
如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据平台，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战，湖仓一体方案应运而生。《实时湖仓实践五讲》是袋鼠云打造的系列直播活动，将围绕实时湖仓的建设趋势和通用问题，邀请奋战于企业数字化一线的核心产品&技术专家，结合实践案例分析，和听众共同探讨实时湖仓领域的前沿技术。*《实时湖仓实践五讲》第一讲——《企
-
HDFS - 文件块大小的设置
概述1、Hadoop文件大小的设置取决于HDFS的块（block）大小，块大小是HDFS存储和处理数据的基本单位。一般来说，文件大小应该大于或等于块大小，以避免产生大量的小文件，影响HDFS的性能和效率。2、HDFS的块大小可以在配置文件中进行设置，不同版本的Hadoop默认的块大小可能不同。在Hadoop 2.x、3.x中，默认的块大小为128MB。3、块大小的设置应该根据磁盘的传输速率和寻址时
-
HDFS - 文件块大小的设置
概述1、Hadoop文件大小的设置取决于HDFS的块（block）大小，块大小是HDFS存储和处理数据的基本单位。一般来说，文件大小应该大于或等于块大小，以避免产生大量的小文件，影响HDFS的性能和效率。2、HDFS的块大小可以在配置文件中进行设置，不同版本的Hadoop默认的块大小可能不同。在Hadoop 2.x、3.x中，默认的块大小为128MB。3、块大小的设置应该根据磁盘的传输速率和寻址时
-
前端开发进阶：前端开发中如何高效渲染大数据量？
本文通过分享一个实际场景中的前端开发思路，介绍当遇到大量数据时，如何实现高效的数据渲染，以达到提升页面性能和用户体验的目的。
-
hadoop 常用端口号
端口列表端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020 / 90008020 / 9000/9820NameNode HTTP UI500709870MapReduce查看执行任务端口80888088历史服务器通信端口1988819888
-
Hadoop 日志聚集开启，日志保留时间
概述Hadoop 日志聚集是指将 Hadoop 集群中各个节点上的日志文件收集到一个中心位置，以便于管理和分析。要开启 Hadoop 日志聚集，您需要在 Hadoop 配置文件中进行相应的配置。具体操作步骤如下：在 yarn-site.xml 文件中，添加以下配置项： &nb
-
Hadoop 历史服务器配置
概述Hadoop历史服务器默认情况下是没有启动的，需要自己配置和启动该服务。在步骤开始之前，建议先把hdfs和yarn停掉：stop-dfs.sh、stop-yarn.sh。然后，您需要在mapred-site.xml文件中添加一些配置，以满足基本使用需求。例如，在mapred-site.xml中添加以下配置（注意根据自己的ip进行修改）：
-
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
Taier 作为袋鼠云的开源项目之一，是一个分布式可视化的 DAG 任务调度系统。旨在降低 ETL 开发成本，提高大数据平台稳定性，让大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。本文将从 Taier 的流程简述、结构分析以及可扩展点三个方面对 Taier 的整体流程进行分析探讨。Taier
-
大数据技术 - LangChain
介绍 LangChain 是一个用于开发基于大型语言模型（LLM）的应用的框架。它可以让应用具有以下特点：数据感知：连接语言模型和其他数据源自主性：让语言模型与其环境进行交互特点组件：提供与语言模型交互的抽象，以及各种抽象的实现。组件是模块化和易用的，无论您是否使用 LangChain 框架的其他部分。现成的链：将组件组合成结构化的序列，以完成特定的高
-
Flink cdc读取mysql数据，需要mysql开启哪些配置
介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog
-
大数据技术 - StreamSets
介绍它是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。实现数据的快速采集、转换、过滤、聚合、加密、延迟等功能，以及数据的流式处理和批处理。它还可以支持多种数据源、操作、目的地和执行器，可以适应各种场景和需求。特点它提供了一个可视化的界面，让用户可以通过拖拽和连线的方式，设计和调度数据管道 (Pipelines)。它支持多种数据源 (Origins)、操作 (Proces
-
袋鼠云数栈 DataOps 数据生产力实践，实现数据流程的自动化和规范化
袋鼠云产品团队在帮助企业进行数字化转型实践的过程中，发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付，内部缺少自顶向下的数据生产管理制度，在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处；很多环节依赖人工操作，团队协作效率低，业务需求影响慢，存在大量的重复数据建设；先开发后治理的模式也往往导致历史债越来越沉重。数字化转型实践走在前列的企业
-
大数据技术 - DataOps
介绍DataOps 是一种自动化、面向流程的方法，由分析和数据团队使用，旨在提高数据分析的质量并缩短数据分析的周期。它使用敏捷做法来协调工具、代码和基础结构，以便通过改进的安全性快速交付高质量数据特点提高数据分析的质量缩短数据分析的周期敏捷做法协调工具、代码和基础结构改进安全性快速交付高质量数据适用场景实现和简化 DataOps 流程时，业务可以轻松交付经济高效的分析见解。DataOps 可帮助你
-
Flink 和 Hadoop 可以通过两种方式集成：环境变量和 jar 包
环境变量在 Flink 的配置文件中设置 Hadoop 的环境变量，让 Flink 能够访问 Hadoop 的配置和文件系统。例如，可以通过设置 HADOOP_CLASSPATH 环境变量来实现。 jar 包将 Hadoop 的依赖打包到 Flink 的 uber jar 包中，这样 Flink 就能够直接访问 Hadoop 的 API 和文件系统。例如，可以下载 flink-shade
-
Flink 中解决中文乱码的问题
解决方案在 Flink conf yaml 文件中加入以下参数来解决中文乱码的问题：env.java.opts: -Dfile.encoding=UTF-8这个参数可以设置 JVM 的字符编码为 UTF-8，从而避免中文乱码的情况。
