ITPub博客

关于 “Hadoop” 的内容如下：

• 发现数据异常波动怎么办？别慌，指标监控和归因分析来帮你

  当指标发生了异常波动之后怎么做，一直是很多企业的痛点，本文将详细介绍如何建立完善的指标异常监控及其对应归因分析机制，让大家今后在遇到此类问题时，能够快速从数据中发现业务问题与机会，提升业务推进速度。

  数栈DTinsight Hadoop 666 2024-03-28 15:56

• Hadoop的核心组件有哪些？

  Hadoop是一个开源的分布式计算框架，旨在处理大规模数据。Hadoop三大核心组件1、HDFS（分布式文件系统）——实现将文件分布式存储在集群服务器上；2、MAPREDUCE（分布式运算编程框架）——实现在集群服务器上分布式并行运算；3、YARN（分布式资源调度系统）——帮用户调度大量的 MapReduce 程序，并合理分配运算资源（CPU和内存）

  候鸟之恋 Hadoop 774 2024-03-27 15:38

• datax-job-json

  datax mysql2hdfs.json mysql2hive.json

  hunterjoy Hadoop 463 2024-03-24 12:59

• 企业如何通过数据资产化，激活“数据要素x”，乘出新质生产力

  本文深入探讨数据要素与数据资产化的定义及其重要性，并在大数据背景下明确它们的关键角色。同时，梳理数据资产化的实现路径以及如何实现数据的应用价值，从而为企业在新时代的创新发展赋能，实现业务升级与价值跃迁。

  数栈DTinsight Hadoop 593 2024-03-21 10:49

• Flink开发 使用代码提交任务

  代码实现public class SubmitFlinkJob {     public static void main(String[] args) throws Exception {      &n

  元亨利贞 Hadoop 733 2024-03-20 15:57

• 大数据技术 - Kyuubi

  介绍Kyuubi 是网易秉持开源理念的作品，也是网易第一款贡献给 Apache 并进入孵化的开源项目。主要应用于大数据领域，包括大数据离线计算、数据仓库、Ad Hoc 等方向。Kyuubi 是一个分布式、支持多用户、兼容 DBC 或 ODBC 的大数据处理服务，采用了 Apache Spark 作为计算引擎，带来了良好的性能收益。未来也可能支持其他类似执行引擎，如 Apache Flink。特点开

  元亨利贞 Hadoop 739 2024-03-05 09:20

• 破局数据分析滞后难题，赋能企业高速增长的指标管理解决方案

  指标管理，在很大程度上影响着数据分析的时效性，围绕指标管理的痛点问题，依托于袋鼠云指标管理DataIndex 平台，结合企业流程制度，提供产品化的解决方案，让指标建设、指标复用更加的规范和高效。

  数栈DTinsight Hadoop 615 2024-03-01 11:07

• 袋鼠云产品功能更新报告09期｜更全面，更多样，更高效

  欢迎阅读袋鼠云 09 期产品功能更新报告。在此期报告中，我们秉持创新与优化并重的理念，对产品进行了深度打磨与全面升级。每一处细节的改进，都是我们对卓越品质的不懈追求，期待这些新功能能助力您的业务运营与发展，让数字化转型之路更加畅通无阻。以下为袋鼠云产品功能更新报告 09 期内容，更多探索，请继续阅读。离线开发平台新增功能更新1. 任务模版背景：客户希望将日常通用的代码模板在离线中进行维护

  数栈DTinsight Hadoop 602 2024-02-23 11:02

• HDFS 清理数据导致进入安全模式

  错误日志：恢复命令：1、hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）2、hdfs dfsadmin -safemode leave   （功能描述：离开安全模式状态）     如果root没有权限，则需要取/etc/group文件下面加入 supergroup:x:1000:root，然后重启下hadoop

  元亨利贞 Hadoop 569 2024-02-19 17:15

• Flink standlone 模式，Job的算子一直转圈

  如图：可能原因：taskmanager没有申请到资源，配置文件新增参数，如图：

  元亨利贞 Hadoop 696 2024-02-01 09:14

• 分钟级实时数据分析的背后——实时湖仓产品解决方案

  袋鼠云在结合当前数据湖技术的基础上，建设实时湖仓平台，满足客户“快、精、准”的数据需求。本文将详细介绍实时湖仓产品解决方案，让企业能够更专注地去解决他们的业务价值。

  数栈DTinsight Hadoop 674 2024-01-26 15:59

• 实战讲解｜Trino 在袋鼠云数栈的探索与实践

  Trino是针对OLAP设计的用于高效的分布式查询大量数据的分析引擎。此文将介绍袋鼠云数栈在Trino实践过程中遇到的挑战、问题及解决方案。

  数栈DTinsight Hadoop 122 2024-01-19 14:34

• EasyMR：为 AI 未来赋能，打造弹性大数据引擎的革命

  有了大量高质量的训练数据，AI大模型才能不断刷新自己的能力极限。「大数据计算引擎EasyMR」正在以其卓越的性能和灵活性，正在成为 AI 应用不可或缺的一部分。

  数栈DTinsight Hadoop 405 2024-01-10 16:32

• Kafka - 消费错误问题，多台机器上面无法消费数据

  错误日志：2024-01-08 10:45:44 org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'Source: Kafka Source 主流&

  元亨利贞 Hadoop 1543 2024-01-08 11:07

• 干货｜EasyMR 基于 Kubernetes 应用的监控实践

  在云原生时代，Promtheus+Grafana 的组合已经成为了可观测性工具中不可或缺的一部分。在本文中，我们将详细探讨在大数据计算引擎 EasyMR 中如何动态采集 Kubernetes 应用监控数据。

  数栈DTinsight Hadoop 648 2024-01-03 11:31

• Flink CDC3.0的介绍

  介绍Apache Flink CDC 3.0 是 Flink CDC 的新版本，它对之前的版本做了很多改进，包括性能、稳定性和易用性等方面。特性1. 新的 CDC 连接器Flink CDC 3.0 提供了对 MySQL、PostgreSQL、Oracle 和 SQL Server 等主流数据库的 CDC 支持。这些连接器使用数据库的原生 CDC 接口，可以高效地捕获数据库中的数据变更。2. 更快的

  元亨利贞 Hadoop 1364 2023-12-20 09:09

• Flink生产环境常见问题

  问题汇总1. Flink 任务经常挂掉可能原因：内存溢出、堆外溢出、线程死锁、资源不足等。解决方案：查看 Flink 任务日志，定位引起任务挂掉的原因，然后根据原因进行修复。比如，如果是因为内存溢出，可以增加 Flink 任务的内存限制；如果是因为堆外溢出，可以减小 Flink 任务处理的数据量或增加 Flink 任务的堆外内存限制；如果是因为线程死锁，可以尝试减少 Flink 任务并发度；如果是

  元亨利贞 Hadoop 382 2023-12-19 22:40

• 直播预约丨《实时湖仓实践五讲》第五讲：实时湖仓领域的最/佳实践解析

  【直播预约】《实时湖仓实践第五讲：实时湖仓领域的最/佳实践解析》将于12月20日 15:00-16:00开播，详解实时湖仓产品解决方案，快快预约直播吧！

  数栈DTinsight Hadoop 470 2023-12-19 11:50

• 大数据技术 - Directus

  介绍    Directus 是一个开源的无头内容管理系统（Headless Content Management System），它能够自动为数据表格产生 Rest API 和 GraphQL 端点特点灵活性：Directus 可以与任何 SQL 数据库集成，并为您提供强大而灵活的工具来管理和操作数据库中的数据。即时 API：通过 Directus 的 R

  元亨利贞 Hadoop 784 2023-12-18 08:55

• 大数据技术 - Manticore Search

  介绍Manticore Search是一个开源的全文搜索引擎，它是Sphinx搜索引擎的一个分支，目标是提供更高的性能、可扩展性和功能。特点高性能： Manticore Search专注于提供快速、高效的全文搜索。它通过使用内存索引和并行查询来优化性能。实时索引更新： Manticore支持实时索引更新，允许您在不中断服务的情况下更新索引。这对于需要实时更新数据的应用程序非常重要。分布式搜索： M

  元亨利贞 Hadoop 853 2023-12-18 08:47