-
袋鼠云产品功能更新报告04期丨2023年首次，产品升级“狂飙”
新的一年我们加紧了更新迭代的速度，增加了数据湖平台EasyLake和大数据基础平台EasyMR，超40项功能升级优化。我们将继续保持产品升级节奏，满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋鼠云产品功能更新报告第四期内容，更多探索，请继续阅读。数据湖平台1.【元数据管理】Catalog创建在【元数据管理】页创建一个Catalog，填写Catalog名称、Hive MetaSt
-
Hive 3.1.2安装部署
一 说明1.1环境准备 已经提前部署好hadoop集群3.2.1版本 1.2 Hive下载 https://mirror.bit.edu.cn/apache/hive/这里我们下载的版本是：apache-hive-3.1.2-bin.tar.gz 1.3 mysql驱动的jar包下载https://dev.mysql.com/downloads/c
-
Hbase 2.2.5集群搭建
一 说明1.1查阅Hbase,java,hadoop版本兼容性在安装前需要先查阅个组件兼容性，参考官方网址如下：http://hbase.apache.org/book.html#java 我们前期安装好的hadoop集群是3.2.1版本，所以根据上面的兼容性表格，我们可以下载HBase-2.2.x或者HBase-2.3.x。 1.2下载Hbase 进入官网
-
Hadoop3.2.1集群搭建
一 说明1.1环境说明版本：Centos7 Haddop3.2.1 JDK1.8 1.2准备工作：在安装前先要确保三台服务器之间能够ping通，已经安装了jdk，主机名的设置以及hosts文件的修改（ip和主机名映射关系），还有各主机的免密登录以及关闭防火墙。本次安装用到的三台虚拟机如下：Ip/hostnamenamenodedatanodejournalnodeZKFCRes
-
国产 ETL工具 ETL产品 数据交换系统
ETL产品的选型工作一直以来都是困扰架构师的一块心病，国外付费产品用不起，国外免费产品学习成本高、不易实施。
-
大数据技术 - StreamX
介绍StreamX, 项目的初衷是 —— 让 Flink 开发更简单, 使用StreamX开发,可以极大降低学习成本和开发门槛, 让开发者只用关心最核心的业务,StreamX 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供scala和java两套api, 其最终目的是打造一个一站式
-
大数据技术 - Apache Doris
介绍Apache Doris (incubating) 是一个开源分布式列式数据库管理系统。它是基于 Apache Pinot 的升级版本，旨在提供一个高性能、可扩展的分布式数据仓库解决方案。 主要特性高性能：Doris 具有高性能的列式存储引擎和多种优化方案，可以满足高吞吐量和低延迟的需求。可扩展：Doris 支持水平扩展，可以根据用户的需求添加新的节点来增加存储和计算能力。列式存储：Do
-
袋鼠云产品功能更新报告03期丨产品体验全面优化，请查收！
年底啦～2022年即将走到尾声，不过袋鼠云对产品品质的坚持始终如一，这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如新增任务告警，进行了Connector相关功能优化，以及支持跨时间分区圈群等。以下为袋鼠云产品功能更新报告第三期内容，更多探索，请继续查阅。离线开发平台1.任务诊断用户痛点：任务一直在等待提交或者等待运行，用户看不到原因，不知道该如何处理能让任务尽快跑起来；任
-
大数据技术 - 监控预警
ZabbixZabbix是一个用于监控和分析企业网络的开源软件。它可以监控各种网络参数、服务器、数据库、网络设备和应用程序等，并能够将所监控的数据可视化，使用户可以快速了解网络状态。Zabbix还具有自动告警功能，当监控到某个参数超出预设范围时，可以自动向用户发出告警信息，帮助用户及时处理问题。Zabbix还提供了丰富的API，可以让用户自定义监控规则和告警方式，使得Zabbix可以满足不同
-
基于商业版Hadoop搭建的数据仓库解决方案
本方案以某金融企业大数据平台建设方案为例，面对企业内部的数据现状提出合理化建议，基于商业版Hadoop数据平台搭建数据仓库系统，实现数据资产的充分利用，结合当时现状推荐国产自主研发商业版Hadoop平台TDH做为基础平台，以下为方案概述。
-
DAG任务调度系统 Taier 演进之道，探究DataSourceX 模块
熟悉Taier的小伙伴们应该都知道，在11月7日发布的Taier1.3新版本中，我们融合了「DataSourceX 模块」。这是十分重要的一个变化，移除Taier外部插件依赖，新增数据源插件相关特性，支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章，就带大家详细了解一下DataSourceX 的作用及设计。DataSourceX 模块的作用为什么说 DataSourceX 是一个非
-
Flink On Yarn 作业启动速度之优化
依赖及配置等加载作业依赖，比如jar、配置文件等默认会从HDFS上面下载，提交到用得application_id目录下面，都是私有的依赖。 优化配置加载Flink 1.11 之后，提供了一个配置： yarn.provided.lib.dirs 将 Flink 的依赖 jar 包放到 HDFS，后期下载的依赖会放到一个公共的目录中，是 共享的，第一次下载后，后期如果依赖没有发生变动的话
-
大数据基础架构Hadoop，终于有人讲明白了
本文将首先介绍Hadoop技术概述，包括Hadoop框架的概念、架构、核心组件，以及Hadoop的应用场景和生态系统。
-
Iceberg在袋鼠云的探索及实践
“数据湖”、“湖仓一体” 及 “流批一体” 等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案，其中作为全链路数字化技术与服务提供商的袋鼠云，在探索数据湖架构的早期，就调研并选用了 Iceberg 作为基础框架，在落地过程中深度使用了 Iceberg 并进行了部分改造，在这个过程中，我们积累出了一些经验和探索实践，希望
-
Kerberos 身份验证在 ChunJun 中的落地实践
Kerberos，在古希腊神话故事中，指的是一只三头犬守护在地狱之门外，禁止任何人类闯入地狱之中。那么在现实中，Kerberos 指的是什么呢？一、Kerberos 介绍01 Kerberos 是什么根据百度词条释义，Kerberos 是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。Kerberos 旨在通过密钥加密技术为客户端 / 服务器应用程序提供身份验证，主
-
Flink内存管理
内存管理方式1、Flink 将对象序列化为固定数量的预先分配的内存段，⽽不是直接把对象放在堆内存上。2、尽量操作二进制数据，以此将序列化和反序列化开销降到最低；3、处理的数据大于可以保存的内存情况下，Flink 的运算符会将部分数据溢出到磁盘。 内存管理的优势1、内存安全执⾏和⾼效的核外算法利用内存段机制，防止内存溢出。2、减少垃圾收集压⼒所有⻓⽣命周期的数据都是在 Flink 的管理内存中
-
Flink全量快照的实现
实现步骤1、实现的方法是snapshotFully()；2、通过 CheckpointStreamFactory 拿到 CheckpointStateOutputStream；3、然后将 RocksDB ⾃身的 snapshot 全量写出；4、然后通过 CheckpointStreamFactory 拿到 CheckpointStateOutputStream 作为快照写出流，分别将快照的 m
-
Flink增量快照的实现
实现步骤1、从snapshotIncrementally()这个方法开始；2、增量快照数据分为两部分，meta、state数据；3、state 数据的写⼊，会将 checkpoint 写出到CheckpointStateOutputStream，将 RocksDB 快照 写出到CheckpointStateOutputStream；4、创建⽤于创建可打开快照的Checkpoint对象，然后在R
-
Flink启动Yarn session模式的部署报错
报错信息 Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnExcept
-
flink1.14.0在yarn上运行报错--HADOOP_CLASSPATH environment--问题
错误信息 java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the &q
