ITPub博客

端口列表端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020 / 90008020 / 9000/9820NameNode HTTP UI500709870MapReduce查看执行任务端口80888088历史服务器通信端口1988819888

概述Hadoop 日志聚集是指将 Hadoop 集群中各个节点上的日志文件收集到一个中心位置，以便于管理和分析。要开启 Hadoop 日志聚集，您需要在 Hadoop 配置文件中进行相应的配置。具体操作步骤如下：在 yarn-site.xml 文件中，添加以下配置项： &nb

概述Hadoop历史服务器默认情况下是没有启动的，需要自己配置和启动该服务。在步骤开始之前，建议先把hdfs和yarn停掉：stop-dfs.sh、stop-yarn.sh。然后，您需要在mapred-site.xml文件中添加一些配置，以满足基本使用需求。例如，在mapred-site.xml中添加以下配置（注意根据自己的ip进行修改）：

错误信息Unable to parse template "Class" Error message: Selected class file name 'AdsViper.java' mapped to not 

介绍在Debian-like系统中，/tmp目录仅在启动时清理（规则定义在/etc/default/rcS中）。在RedHat-like系统中，/tmp目录根据文件的年龄定期清理（在RHEL6中，规则定义在/etc/cron.daily/tmpwatch中；在RHEL7和带有systemd的RedHat-like系统中，规则定义在/usr/lib/tmpfiles.d/tmp.conf中，并由sy

介绍    Retrofit 是一个用于 Android 和 Java 的类型安全的 HTTP 客户端，由 Square 公司开发。它可以让您将 HTTP API 转换为 Java 接口，从而简化网络请求的编写和处理。特点支持多种数据格式，如 JSON, XML, protocol buffers 等支持同步和异步的网络请求支持 RxJava, Kotlin

介绍    LangChain 是一个用于开发基于大型语言模型（LLM）的应用的框架。它可以让应用具有以下特点：数据感知：连接语言模型和其他数据源自主性：让语言模型与其环境进行交互特点组件：提供与语言模型交互的抽象，以及各种抽象的实现。组件是模块化和易用的，无论您是否使用 LangChain 框架的其他部分。现成的链：将组件组合成结构化的序列，以完成特定的高

创建普通用户useradd viper passwd viper  //修改密码配置viper用户具有root权限，方便后期加sudo执行root权限的命令vim /etc/sudoers修改/etc/sudoers文件，在%wheel这行下面添加一行## Allow root to run an

介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog

介绍它是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。实现数据的快速采集、转换、过滤、聚合、加密、延迟等功能，以及数据的流式处理和批处理。它还可以支持多种数据源、操作、目的地和执行器，可以适应各种场景和需求。特点它提供了一个可视化的界面，让用户可以通过拖拽和连线的方式，设计和调度数据管道 (Pipelines)。它支持多种数据源 (Origins)、操作 (Proces

介绍DataOps 是一种自动化、面向流程的方法，由分析和数据团队使用，旨在提高数据分析的质量并缩短数据分析的周期。它使用敏捷做法来协调工具、代码和基础结构，以便通过改进的安全性快速交付高质量数据特点提高数据分析的质量缩短数据分析的周期敏捷做法协调工具、代码和基础结构改进安全性快速交付高质量数据适用场景实现和简化 DataOps 流程时，业务可以轻松交付经济高效的分析见解。DataOps 可帮助你

环境变量在 Flink 的配置文件中设置 Hadoop 的环境变量，让 Flink 能够访问 Hadoop 的配置和文件系统。例如，可以通过设置 HADOOP_CLASSPATH 环境变量来实现。 jar 包将 Hadoop 的依赖打包到 Flink 的 uber jar 包中，这样 Flink 就能够直接访问 Hadoop 的 API 和文件系统。例如，可以下载 flink-shade

解决方案在 Flink conf yaml 文件中加入以下参数来解决中文乱码的问题：env.java.opts: -Dfile.encoding=UTF-8这个参数可以设置 JVM 的字符编码为 UTF-8，从而避免中文乱码的情况。

介绍NIFI是一个由Apache基金会开发的数据流处理和分发系统，它可以帮助您自动化管理系统间的数据流，支持从多种数据源动态拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能 。特点支持优先排队、数据缓冲和背压，可以根据数据流的速度和压力进行自动调节。支持数据跟踪，可以查看数据流的历史记录、状态和统计信息。支持租户隔离，可以为不同的用户或组织分配不同的

错误信息：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.f

错误信息：2023-08-02 16:17:29 org.apache.kafka.common.KafkaException: Failed to construct kafka producer     at org.apache.kafka.clients.producer.Ka

介绍：Fury是一个基于JIT动态编译的多语言原生序列化框架，支持Java/Python/Golang/C++等语言，提供全自动的对象多语言/跨语言序列化能力，以及相比于别的框架最高20~200倍的性能。Fury通过一套支持引用、类型嵌入的语言无关协议，以及JIT动态编译加速、缓存优化和Zero-Copy等技术，实现了任意对象像动态语言自动序列化一样跨语言自动序列化，消除了语言之间的编程边界。Fu

介绍：多运行时架构是一种微服务架构形态，它将业务逻辑和分布式能力分离，使得业务逻辑只关注核心功能，而分布式能力由一个或多个辅助进程（Sidecar）提供。多运行时架构将分布式应用的需求归纳为四大类：生命周期、网络、状态和绑定，并通过不同的Sidecar进程来满足这些需求，从而实现了对分布式能力的抽象和解耦。多运行时架构是一种面向能力的架构，它可以让业务逻辑更加简洁、灵活和异构，同时也可以让分布式能

介绍：MySQL中的utf8不是标准的UTF-8编码：MySQL中的utf8编码只支持每个字符最多三个字节，而真正的UTF-8编码是每个字符最多四个字节。这意味着MySQL中的utf8编码不能完全覆盖Unicode字符集，只能支持基本多文本平面（BMP）中的字符，而无法支持一些较复杂的文字、繁体字或者表情符号等。MySQL中使用UTF-8应该使用utf8mb4编码：为了解决utf8编码的局限性，M

解决方案：使用snapshot.locking.mode参数：这个参数可以设置全量阶段的锁模式，有三个可选值：none、minimal和extended。默认值是extended，表示在全量阶段会锁住所有表，不允许其他客户端进行DML操作。如果设置为minimal，表示只锁住正在读取的表，其他表可以正常操作。如果设置为none，表示不锁任何表，但是可能会导致数据不一致。使用snapshot.new