-
flink1.14.0在yarn上运行报错--类加载错误--问题
错误信息 Exception in thread “Thread-6“ java.lang.IllegalStateException: Trying to access closed classloader. 问题原因hadoop3和flink存在的一个bughttps://issues.apache.org/jira/browse/FLINK-19916 解决方法flink-co
-
hadoop 存到hdfs的数据没有同步到其他机器上
失败场景如下 原因很简单，就是防火墙没有关闭关闭三台机器的防火墙：systemctl stop firewalldsystemctl disable firewalld
-
使用root用户启动hadoop报错
错误信息如下‘ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. 解决方法1、在start-dfs.sh，stop-dfs.sh两个文件顶部添加参数 HDFS_DATANODE_USER=root
-
数据安全新战场，EasyMR为企业筑起“安全防线”
保障数据安全，成为当前许多企业的重中之重，大数据基础平台EasyMR新增一站式大数据应用安全防控以及数据权限管控能力，实现一键部署安全管控服务，一键开启大数据集群组件的安全认证、用户管理以及权限管控服务，为企业数据安全保驾护航。
-
hadoop三大组件
MapReduceMapReduce是什么？1、 MapReduce是一种分布式计算框架 ；2、MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算；3、Map()负责把一个大的block块进行切片并计算；4、Reduce() 负责把Map()切片的数据进行汇总、计算。MapReduce怎么做？1、对输入的数据进行切片，每个切片分配一个
-
CDH+Kylin三部曲之三：Kylin官方demo
本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
-
CDH+Kylin三部曲之一：准备工作
本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作
-
国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型
近年来，国际形势的风云变幻，中美双边关系的恶化，警示国人，对于科技领域，只有自己掌握核心关键技术，实现自主可控，才能摆脱越来越频繁的 “卡脖子事件”，保证企业和国家信息安全。俗话说 “基础不牢，地动山摇 “。大数据基础平台什么？是打地基的，是重中之重，地基扎得越深、打得越牢，上面的建筑才能越稳定。可以说，数字化转型的 “万丈高楼” 起于基础平台，具备自主可控的平台建设能力，是真正意义上一切的前提。
-
超简单的CDH6部署和体验(单机版)
借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6
-
开源共建 | TIS整合数据同步工具ChunJun，携手完善开源生态
TIS 整合 ChunJun 实操B 站视频：https://www.bilibili.com/video/BV1QM411z7w5/?spm_id_from=333.999.0.0一、ChunJun 概述ChunJun 是一款易用、稳定、高效的批流统一的数据集成框架，可基于实时计算引擎 Flink 实现多种异构数据源之间的数据同步与计算，既可以采集静态的数据，比如 MySQL，HDFS 等，也可
-
大规模 Hadoop 升级在 Pinterest 的实践
本文分享 Pinterest 将 Monarch 升级到 Hadoop 2.10.0 的经验。
-
CDH5部署三部曲之三：问题总结
启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考
-
小米 A/B 实验场景基于 Apache Doris 的查询提速优化实践
Apache Doris 是小米集团内部应用最为广泛的 OLAP 引擎之一，本文主要从数据的角度分析 A/B 实验场景查询的性能现状，探讨基于 Apache Doris 的性能优化的解决方案。经过一系列基于 Doris 的性能优化和测试，A/B 实验场景查询性能的提升超过了我们的预期。希望本次分享可以给有需要的朋友提供一些参考。
-
CDH5部署三部曲之二：部署和设置
本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作
-
《Hadoop大数据分析技术》简介
#好书推荐##好书奇遇季#《Hadoop大数据分析技术》，京东当当天猫都有发售。定价69元，打折一下更便宜。配套源码、PPT课件，可以做Hadoop大数据分析课程的教材。配套两个毕业论文案例。 本书是Hadoop大数据分析技术入门书，基于Hadoop 3.2.2框架体系，以通俗易懂的方式介绍Hadoop原生态组件的原理、集群搭建、实战操作，以及整个Hadoop生态系统主流的大数据分析技术
-
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
一、什么是数据湖？在探讨数据湖技术或如何构建数据湖之前，我们需要先明确，什么是数据湖？数据湖的起源，应该追溯到 2010 年 10 月。基于对半结构化、非结构化存储的需求，同时为了推广自家的 Pentaho 产品以及 Hadoop，2010 年 Pentaho 的创始人兼 CTO James Dixon 首次提出了数据湖的概念。数据湖概念一经提出，便受到了广泛关注，人们发现此概念代表了一种新的数据
-
Hadoop分布式文件系统（HDFS）会不会被淘汰？
-
开源共建 | 中国移动冯江涛：ChunJun（原FlinkX）在数据入湖中的应用
ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具。2018 年 4 月，秉承着开源共享的理念，数栈技术团队在 github 上开源了 FlinkX，承蒙各位开发者的合作共建，FlinkX 得到了快速发展。两年后的 2022 年 4 月，技术团队决定对 FlinkX 进行整体升级，并更名为 ChunJun，希望继续和各位优秀开发者合作，进一步推动
-
开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享
一、前言ChunJun（原 FlinkX）是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSql 所有语法和特性的计算框架。ChunJun 具有丰富的插件种类，多达 40 种，如常见的 mysql、binlog、
-
袋鼠云数栈UI5.0体验升级背后的故事：可用性原则与交互升级
最近，我们袋鼠云的 UED 部⻔小伙伴们，不声不响地⼲了⼀件⼤事 —— 升级了全新设计语言「数栈 UI5.0」。众所周知，用户在使用产品时，是一个动态的过程，用户和产品之间进行交互的可用性，能否让用户愉悦、快速地在产品内达成目的，直接影响用户使用产品的体验。在设计中，有一个广泛的经验法则被称为「尼尔森十大可用性原则」，1995 年由著名的人机交互学博士尼尔森发表。它是产品设计和⽤户体验设计的重要参
