22【在线日志分析】之项目第二阶段概述
主要对HDFS服务和Tomcat服务进行实时计算预警，故要做以下加强功能:
1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)
2. 改造 Tomcat的日志支持log4j,其为json格式输出
3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理
4. 改造 spark streaming+spark sql,支持读取json解析
5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词
6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算
7. 改造grafana dashboard可视化
8. 整个架构高可靠设计和优化
9. 扩展其他应用、DB的日志等等
1. 改造 CDH/Apache hadoop的hdfs的nn,dn进程的日志输出格式,每一条改为json格式输出 (之前每一条为 string)
2. 改造 Tomcat的日志支持log4j,其为json格式输出
3. 改造 基于Flume-ng Exec Source开发自定义插件ExecSource_JSON,支持JSON数据处理
4. 改造 spark streaming+spark sql,支持读取json解析
5. 使用hive离线计算loginfo字段,计算高词频的词,添加到MySQL表中,同时支持添加自定义监控词
6. 改造 spark streaming+spark sql,参数配置定时读取监控词库,进行预警计算
7. 改造grafana dashboard可视化
8. 整个架构高可靠设计和优化
9. 扩展其他应用、DB的日志等等
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/30089851/viewspace-2136419/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
最新文章
- Resolving archive.cloudera.com... failed: Temporary failure in name
- 记录2018年底最后1次HBase故障维护
- Batch containing 11 record(s) expired due to timeout while requesting metadata
- 【记录】:CentOS清理swap和buffer/cache
- java.io.IOException: Connection reset by peer
- maven报错：找不到符号
- Kubernetes node的防火墙问题导致pod ip无法访问
- 基于CentOS6.4环境编译Spark-2.1.0源码
- 有幸参加上海专场Spark线下课程,谈谈感想
- Maven-3.3.9 Install and Oozie-4.3.0 Compile
