-
编辑 删除
storm 中遇到问题调整参数详解
参考链接：http://support.huawei.com/ecommunity/bbs/10242723.html一、任务执行及通信的单元Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt）1、 一个worker进程执行的是一个Topology的子集（不会出现一个worker进程为多个Topology服务），一个wo...
-
编辑 删除
storm 参数调整
参考链接：http://my.oschina.net/infiniteSpace/blog/309732?fromerr=TK2bsVKY配置项 配置说明storm.zookeeper.servers ZooKeeper服务器列表storm.zookeeper.port ZooKeeper连接端口storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.mode Stor...
-
编辑 删除
FLume 问题博客参考记录
http://boylook.blog.51cto.com/7934327/1308188
-
编辑 删除
flume 写往hdfs参数理解分析
参考链接：http://lxw1234.com/archives/2015/10/527.htmFlume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channeltypehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表...
-
编辑 删除
flume HdfsEventSink原理分析
参考文档：http://www.aboutyun.com/thread-8454-1-1.html1.HDFSEventSink初始化参数的作用是什么？2.HDFSEventSink初始化参数哪些是比较常用的？3.如何设置事件刷新到HDFS之前的数量？4.HDFSEventSink的start（）方法的作用是什么？5.HDFSEventSink的stop（）方法的作用是什么？HDFSEventSink是flume中一...
-
编辑 删除
flume HdfsEventSink KafkaSink配置
1. 示例一：#############################################c1.sources = c1so1c1.channels = c1ch1 c1ch2c1.sinks = c1si1 c1si2c1.sources.c1so1.type=nioc1.sources.c1so1.channels = c1ch1 c1ch2c1.sources.c1so1.selector.type = replicatingc1.sources.c1so1.selector.optional = c1ch2c1.sources.c1so1.bi...
