-
编辑 删除
LRU缓存
参考链接：http://blog.csdn.net/beiyeqingteng/article/details/7010411
-
编辑 删除
shell 操作mysql数据库
参考链接：http://blog.chinaunix.net/uid-23062171-id-5728835.html
-
编辑 删除
HA手动切换方式及方法
参考链接：http://www.aboutyun.com/thread-13391-1-1.html 确定要转为active的namenode的id，这里将namenode1设为active，使用命令行工具进行状态切换：$HADOOP_HOME/bin/hdfs haadmin -failover --forcefence --forceactive nn2 nn1注意：此处“nn2 nn1”的顺序表...
-
编辑 删除
hadoop hdfs 命令使用
参考链接：http://lxw1234.com/archives/2015/08/452.htm在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。[hadoop@dev ~]$ hdfs fsckUsage: DFSck [-list-corruptfileblocks | [-move | -de...
-
编辑 删除
storm 中遇到问题调整参数详解
参考链接：http://support.huawei.com/ecommunity/bbs/10242723.html一、任务执行及通信的单元Storm中关于任务执行及通信的三个概念：Worker（进程）、Executor（线程）和Task（Spout、Bolt）1、 一个worker进程执行的是一个Topology的子集（不会出现一个worker进程为多个Topology服务），一个wo...
-
编辑 删除
storm 参数调整
参考链接：http://my.oschina.net/infiniteSpace/blog/309732?fromerr=TK2bsVKY配置项 配置说明storm.zookeeper.servers ZooKeeper服务器列表storm.zookeeper.port ZooKeeper连接端口storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.mode Stor...
-
编辑 删除
FLume 问题博客参考记录
http://boylook.blog.51cto.com/7934327/1308188
-
编辑 删除
flume 写往hdfs参数理解分析
参考链接：http://lxw1234.com/archives/2015/10/527.htmFlume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channeltypehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表...
-
编辑 删除
flume HdfsEventSink原理分析
参考文档：http://www.aboutyun.com/thread-8454-1-1.html1.HDFSEventSink初始化参数的作用是什么？2.HDFSEventSink初始化参数哪些是比较常用的？3.如何设置事件刷新到HDFS之前的数量？4.HDFSEventSink的start（）方法的作用是什么？5.HDFSEventSink的stop（）方法的作用是什么？HDFSEventSink是flume中一...
-
编辑 删除
flume HdfsEventSink KafkaSink配置
1. 示例一：#############################################c1.sources = c1so1c1.channels = c1ch1 c1ch2c1.sinks = c1si1 c1si2c1.sources.c1so1.type=nioc1.sources.c1so1.channels = c1ch1 c1ch2c1.sources.c1so1.selector.type = replicatingc1.sources.c1so1.selector.optional = c1ch2c1.sources.c1so1.bi...
