-
编辑 删除
nginx+tomcat+session共享
1 起因最近对新开发的web系统进行了压力测试，发现tomcat默认配置下压到600人的并发登录首页响应速度就有比较严重的影响，一轮出现2000多个的500和502错误。我把登录的时间统计做了一下，把服务器处理总时间打印出来，看了一下发现有个别响应确实在20秒，但平均时间和lr测试出来的还是相差很远。所以可以断定不是程序...
-
编辑 删除
Slope One :简单高效的协同过滤算法
Slope One;和其它类似算法相比, 它的最大优点在于算法很简单, 易于实现, 执行效率高, 同时推荐的准确性相对很高; 基本概念Slope One的基本概念很简单, 例子1, 用户X, Y和A都对Item1打了分. 同时用户X,Y还对Item2打了分, 用户A对Item2可能会打多少分呢?UserRating to Item 1...
-
编辑 删除
shell点点滴滴的积累
-e filename 如果 filename存在，则为真-d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真-L filename 如果 filename为符号链接，则为真-r filename 如果 filename可读，则为真 -w filename 如果 filename可写，则为真 -x filename 如果 filename可执行，则为真-s filena...
-
编辑 删除
Mahout笔记
均差 ： 测试数据减真实数据的和的平均值均方差： 测试数据减真实数据的平方值的和的平均值查准率： 在top结果中相关的结果的比例查全率： 所有的相关结果包含在top结果中的比例布尔型偏好值： 只有用户id和物品id 并没有偏好强度...
-
编辑 删除
ffmpeg分割视频的方法
ffmpeg可以说是一个比较全能的编解码器，但我在分割视频的时候视频被他重新编码了，明明是copy却变成了encode。我使用的命令是这样的：1ffmpeg -vcodec copy -acodec copy -ss 01:00:00 -t 00:00:30 -i input_file_h264.mp4 output_file.mp4...
-
编辑 删除
centos安装mp4box 亲测 成功
# cd /usr/local/src# wget http://downloads.sourceforge.net/gpac/gpac-0.5.0.tar.gz# wget http://downloads.sourceforge.net/gpac/gpac_extra_libs-0.5.0.tar.gz# tar zxvf gpac-0.5.0.tar.gz# tar zxvf gpac_extra_libs-0.5.0.tar.gz# cd gpac# cp -r ../gpac_extra_libs/* extra_lib/# chmod +x conf...
-
编辑 删除
solrcloud4.9添加IK分词器
ik-analyzer下载地址：http://code.google.com/p/ik-analyzer/downloads/list1. 将 IKAnalyzer2012FF_u1.jar、IKAnalyzer.cfg.xml、stopword.dic 三个文件拷贝到solr目录下的WEB-INF目录下的lib目录下。2. 修改schema.xml 配置文件 添加以下配置： <fieldType name="text_ik" class="solr.Tex...
-
编辑 删除
将/usr/local/lib加入到默认库
[root@localhost]# echo "/usr/local/lib" >> /etc/ld.so.conf[root@localhost]# /sbin/ldconfig
-
编辑 删除
hbase单表加ObServer
继承BaseRegionObserver类 打成jar包 上传到hdfs进入hbase shell 将表disable 执行 alter 'sdzn_public', METHOD => 'table_att','coprocessor'=>'hdfs://192.168.0.237:9000/hbase/observer/regionObserver.jar|cn.sdzn.web.hbaeObServer.solrindexcoprocessorobserver|1001|'将表enableOK...
-
编辑 删除
httpsqs搭建，亲测成功版
1.安装libevent-2.0.12-stable.tar.gzwget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gztar zxvf libevent-2.0.12-stable.tar.gzcd libevent-2.0.12-stable/ ./configure --prefix=/usr/local/libevent-2.0.12-stable/ make make install cd ../2.安装tokyocabinet-1.4.47.tar.gz...
-
编辑 删除
使用SequenceFile存储BytesWritable类型时要注意
将office文件转为byte[] -> bytesWritable存入SquenceFile中，取出数据时发现文件打不开保错，打印出保存前byte[]和取出后的byte[]长度一看，发现长度不同，后者增加不少。原因： BytesWritable，使用这个类型非常容易犯错误。当你把一堆byte[]数据保存到BytesWrita...
-
编辑 删除
centos 安装swftools
1.安装gcc c++ yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel2.安装freetype $wget http://nchc.dl.sourceforge.net/project/freetype/freetype2/2.4.8/freetype-2.4.8.tar.bz2 $tar xvf freetype-2.4.8.tar.bz2 $cd freetype-2.4.8 $./configure $mak...
-
编辑 删除
centos-libreoffice安装
1. 下载LibreOffice 4.1.1 LibreOffice_4.1.1_Linux_x86_rpm.tar.gz2. 删除已安装的libreoffice or openoffice# yum remove openoffice.org* libreoffice.org*3. 解压LibreOffice 4.1.1 安装包#tar -xvf LibreOffice_4.1.1_Linux_x86-64_rpm.tar.gz4. 安装 LibreOffice 4.1.1 Package#...
-
编辑 删除
HIVE 笔记
1. 如果join中多个表的 join key 是同一个，则 join 会被转化为单个 map/reduce 任务，例如： SELECT a.val,b.val, c.val FROM a JOIN b ON (a.key =b.key1) JOIN c ON (c.key =b.key1) ...
-
编辑 删除
solrcloud+zk+tomcat 详细配置
版本：solr 4.9.0zookeeper 3.4.5tomcat 7.0.42ZK、tomcat安装过程省略OK开始1.解压 solr-4.9.0的压缩包，并且把solr-4.9.0/example/webapps/solr.war解压至/usr/local/solr目录下2.把 solr-4.8.1\example\lib\ext下的 jar包放到solr\WEB-INF\lib下3....
-
编辑 删除
solrcloud 报 HTTP Status 503 - Server is shutting down or failed to initialize
将solr/example/resources/log4j.properties 复制到 /tomcat/webapps/solr/WEB-INF/classes/OK
-
编辑 删除
基于Solr的HBase多条件查询测试
背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快 速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证...
-
编辑 删除
hadoop + ffmpeg 云转码
hadoop + ffmpeg 分布式转码系统实践 hadoop 安装 ffmpeg 安装 mkvtoolnix 安装 一、分割视频：mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4 二、hdfs中创建存放分割后视频的目录 hadoop fs -mkdir movies 三、上传分割后的视频for i in `ls he...
-
编辑 删除
kafka集群安装
首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为consumer;通常我们部署多个broker以提供高可用性的消息服务集群.典型的是3个broker;消息以topic的形式发送到broker,消费者订阅topic,实现按需取用的消费模式;创建topic需要指定replication-factor(复制数目...
-
编辑 删除
Storm DRPC 使用
欢迎转载,请注明出处:http://blog.csdn.net/jmppok/article/details/168393631. DRPC介绍Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处理功能的访问接口.其实即使不通过DRPC，而是通过在Topoloye中的spout中建立一个TCP/HTTP监听来接收数据，在最后...
