ITPub博客

概述LANG类型中，ZH会用1来表示，这是一个单字符的语言键，表示中文1。LANG类型E中，ZH可以有多种形式，例如ZH，ZH-CN，ZH-TW等，这是一个两个或四个字母的语言代码，表示中文的不同方言。您可以在下面的链接中查看更多的语言代码和名称。

概述1、Hadoop文件大小的设置取决于HDFS的块（block）大小，块大小是HDFS存储和处理数据的基本单位。一般来说，文件大小应该大于或等于块大小，以避免产生大量的小文件，影响HDFS的性能和效率。2、HDFS的块大小可以在配置文件中进行设置，不同版本的Hadoop默认的块大小可能不同。在Hadoop 2.x、3.x中，默认的块大小为128MB。3、块大小的设置应该根据磁盘的传输速率和寻址时

概述1、Hadoop文件大小的设置取决于HDFS的块（block）大小，块大小是HDFS存储和处理数据的基本单位。一般来说，文件大小应该大于或等于块大小，以避免产生大量的小文件，影响HDFS的性能和效率。2、HDFS的块大小可以在配置文件中进行设置，不同版本的Hadoop默认的块大小可能不同。在Hadoop 2.x、3.x中，默认的块大小为128MB。3、块大小的设置应该根据磁盘的传输速率和寻址时

前提如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准。安装和配置ntp服务如果没有ntp服务，可以使用yum install ntp或者apt-get install ntp命令来安装ntp服务。时间服务器配置（必须root用户）（1）查看所有节点ntpd服务状态和开机自启动状态sudo systemctl status 

端口列表端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020 / 90008020 / 9000/9820NameNode HTTP UI500709870MapReduce查看执行任务端口80888088历史服务器通信端口1988819888

概述Hadoop 日志聚集是指将 Hadoop 集群中各个节点上的日志文件收集到一个中心位置，以便于管理和分析。要开启 Hadoop 日志聚集，您需要在 Hadoop 配置文件中进行相应的配置。具体操作步骤如下：在 yarn-site.xml 文件中，添加以下配置项： &nb

概述Hadoop历史服务器默认情况下是没有启动的，需要自己配置和启动该服务。在步骤开始之前，建议先把hdfs和yarn停掉：stop-dfs.sh、stop-yarn.sh。然后，您需要在mapred-site.xml文件中添加一些配置，以满足基本使用需求。例如，在mapred-site.xml中添加以下配置（注意根据自己的ip进行修改）：

错误信息Unable to parse template "Class" Error message: Selected class file name 'AdsViper.java' mapped to not 

介绍在Debian-like系统中，/tmp目录仅在启动时清理（规则定义在/etc/default/rcS中）。在RedHat-like系统中，/tmp目录根据文件的年龄定期清理（在RHEL6中，规则定义在/etc/cron.daily/tmpwatch中；在RHEL7和带有systemd的RedHat-like系统中，规则定义在/usr/lib/tmpfiles.d/tmp.conf中，并由sy

介绍    Retrofit 是一个用于 Android 和 Java 的类型安全的 HTTP 客户端，由 Square 公司开发。它可以让您将 HTTP API 转换为 Java 接口，从而简化网络请求的编写和处理。特点支持多种数据格式，如 JSON, XML, protocol buffers 等支持同步和异步的网络请求支持 RxJava, Kotlin

介绍    LangChain 是一个用于开发基于大型语言模型（LLM）的应用的框架。它可以让应用具有以下特点：数据感知：连接语言模型和其他数据源自主性：让语言模型与其环境进行交互特点组件：提供与语言模型交互的抽象，以及各种抽象的实现。组件是模块化和易用的，无论您是否使用 LangChain 框架的其他部分。现成的链：将组件组合成结构化的序列，以完成特定的高

创建普通用户useradd viper passwd viper  //修改密码配置viper用户具有root权限，方便后期加sudo执行root权限的命令vim /etc/sudoers修改/etc/sudoers文件，在%wheel这行下面添加一行## Allow root to run an

介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog

介绍它是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。实现数据的快速采集、转换、过滤、聚合、加密、延迟等功能，以及数据的流式处理和批处理。它还可以支持多种数据源、操作、目的地和执行器，可以适应各种场景和需求。特点它提供了一个可视化的界面，让用户可以通过拖拽和连线的方式，设计和调度数据管道 (Pipelines)。它支持多种数据源 (Origins)、操作 (Proces

介绍DataOps 是一种自动化、面向流程的方法，由分析和数据团队使用，旨在提高数据分析的质量并缩短数据分析的周期。它使用敏捷做法来协调工具、代码和基础结构，以便通过改进的安全性快速交付高质量数据特点提高数据分析的质量缩短数据分析的周期敏捷做法协调工具、代码和基础结构改进安全性快速交付高质量数据适用场景实现和简化 DataOps 流程时，业务可以轻松交付经济高效的分析见解。DataOps 可帮助你

环境变量在 Flink 的配置文件中设置 Hadoop 的环境变量，让 Flink 能够访问 Hadoop 的配置和文件系统。例如，可以通过设置 HADOOP_CLASSPATH 环境变量来实现。 jar 包将 Hadoop 的依赖打包到 Flink 的 uber jar 包中，这样 Flink 就能够直接访问 Hadoop 的 API 和文件系统。例如，可以下载 flink-shade

解决方案在 Flink conf yaml 文件中加入以下参数来解决中文乱码的问题：env.java.opts: -Dfile.encoding=UTF-8这个参数可以设置 JVM 的字符编码为 UTF-8，从而避免中文乱码的情况。

介绍NIFI是一个由Apache基金会开发的数据流处理和分发系统，它可以帮助您自动化管理系统间的数据流，支持从多种数据源动态拉取数据，并基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能 。特点支持优先排队、数据缓冲和背压，可以根据数据流的速度和压力进行自动调节。支持数据跟踪，可以查看数据流的历史记录、状态和统计信息。支持租户隔离，可以为不同的用户或组织分配不同的

错误信息：Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.f

错误信息：2023-08-02 16:17:29 org.apache.kafka.common.KafkaException: Failed to construct kafka producer     at org.apache.kafka.clients.producer.Ka