ITPub博客

首页 > IT职业 > IT职场 > 【Hadoop篇04】Hadoop配置日志聚集

【Hadoop篇04】Hadoop配置日志聚集

IT职场 作者:markriver 时间:2021-09-09 10:44:12 0 删除 编辑

​ 成长这一路就是懂得闭嘴努力,知道低调谦逊,学会强大自己,在每一个值得珍惜的日子里,拼命去成为自己想成为的人

Hadoop配置日志聚集

应用场景

为了让应用运行完成以后,将程序运行日志信息上传到HDFS系统上,有了日志之后就可以查看程序中的报错信息,从而调试程序

配置步骤

1.配置yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

图片描述

2.重启集群

sbin/stop-yarn.sh
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

3.运行程序

上传数据到HDFS

图片描述

赋给文件权限

图片描述

运行程序

图片描述

查看运行结果

图片描述

4.查看日志

图片描述

图片描述

图片描述

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/818/viewspace-2825743/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 什么是反射?
请登录后发表评论 登录
全部评论

注册时间:2020-07-03

  • 博文量
    502
  • 访问量
    18492