-
编辑 删除
CDH CM cloudera-scm-server dead but pid file exists
1.查看内存是否占用过高2.查看数据库是否能通
-
编辑 删除
centos 打开防火墙指定端口
已mysql 3306为例：[root@localhost ~]# iptables -A INPUT -p tcp -m tcp --sport 3306 -j ACCEPT[root@localhost ~]# iptables -A OUTPUT -p tcp -m tcp --dport 3306 -j ACCEPT[root@localhost ~]# service iptables save
-
编辑 删除
漫谈Hadoop HDFS Balancer
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。在Hadoop中，包含...
-
编辑 删除
LVS类型的介绍以及LVS的调度方法
LVS三种类型的比较：类型属性LVS-NAT（最简单）网络地址转换LVS-DR（最常用）直接路由LVS-TUNIP隧道realserver和direc...
-
编辑 删除
mapreduce '找共同朋友'，面试题
mapred找共同朋友，数据格式如下： A B C D E F B A C D E C A B E D A B E E A B C D F A 第一字母表示本人，其他是他的朋友，找出有共同朋友的人，和共同朋友是谁 答案如下： 点击(此处)折叠或打开import java.io.IOException;import java.util....
-
编辑 删除
四层负载均衡和七层负载均衡的区别
1. 四层负责均衡：是通过报文中的目标地址和端口，再加上负载均衡设备设置的服务器选择方式，决定最终选择的内部服务器与请求客户端建立TCP连接，然后发送Client请求的数据。由上图可知：在四层负载设备中，把client发送的报文目标地址(原来是负载均衡设备的IP地址)，根据均衡设备设置的选择web服务器的规则选择...
-
编辑 删除
Python 手写数字识别-knn算法应用
优点：精度高，对异常值不敏感，无数据输入假定缺点：计算复杂度高，空间复杂度高适用数据范围：数值型和标称型（具有有穷多个不同值,值之间无序） knn算法代码： #-*- coding: utf-8 -*- from numpy import * import operator import time from os import listdi...
-
编辑 删除
KNN算法理解
一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直接用它的分类来作为新数据的分类。这种方式有一个明显的缺点，那就是很可能无法找到...
-
编辑 删除
CentOS6.5 LVS + KeepAlived搭建步骤
测试环境架构： 废话不说，开始搭建： 1.创建内核文件的软链接，如果不创建此链接编译ipvsadm将报错 ln -s /usr/src/kernels/2.6.18-308.el5-x86_64/ /usr/src/linux ...
-
编辑 删除
关系型数据库的四种事务隔离级别
SQL Server的四种隔离级别知识点整理，特别制作了流程图，方便以后查看！SET TRANSACTION ISOLATION LEVEL一、未提交读READ UNCOMMITTED（脏读）意义：包含未提交数据的读。例如，在多用户环境下，用户B更改了某行。用户A在用户B提交更改之前读取已更改的行。如果此时用户B再回滚更改，则用户A便读取了...
-
编辑 删除
先验概率和后验概率
先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后...
-
编辑 删除
混淆矩阵
在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类像比较计算的。混淆矩阵的每一列代表了实际测得信息，每一列中的数值等于实际测得像元在分类图象中对应于相应类别的数量；混淆矩阵的每一行代表...
-
编辑 删除
Oryx简介
Oryx 的前身叫 Myrrix，后来被 Cloudera 收购改了这个名字。值得一提的是 Oryx 的维护者就是 Mahout 的主要贡献者——Sean OwenOryx开源项目旨在提供实时的大规模机器学习/预测分析基础框架目前它实现了一列工程应用常用到的机器学习算法：协同过滤，分类/回归以及聚类。Oryx 通过Apache hadoop来实现对大规模的数据流进行...
-
编辑 删除
FastDFS概述
FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux, FreeBSD等UNIX系统类google FS, 不是通用的文件系统，只能够通过专有API访问，目前提供了C，Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key-value存储系统，称为分布式文件存储服务更为...
-
编辑 删除
虚拟共享存储：选iSCSI还是NFS？
当虚拟化需要借助共享存储时，IT经理们应该决定采用块级FC和iSCSI存储，还是文件级的NFS存储？iSCSI和NFS之间的差异已经成为IT经理们部署服务器虚拟化时不得不面对的问题之一。 根据存储专家Nigel Poulton的说法，尽管成本高于NFS，大多数的VMware仍是基于FC和iSCSI技术部署的。块级存储提供的高性能...
-
编辑 删除
用Hadoop构建电影推荐系统
1. 推荐系统概述电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。不光是电商类，推荐系统无处不在。QQ，人人网的好友推荐；新浪微博的你可能感觉兴趣的人；优酷，土豆的电影推荐；豆瓣...
-
编辑 删除
CentOS 6.5 下安装 Redis 2.8.7
wget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzcd redis-stablemake 前面3步应该没有问题，主要的问题是执行make的时候，出现了异常。异常一：make[2]: cc: Command not found异常原因：没有安装gcc解决方案：yum install gcc-c++&n...
-
编辑 删除
主题模型-LDA浅析
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下：&n...
-
编辑 删除
Phoenix：在HBase上执行SQL查询
近日，Salesforce.com开源了 Phoenix，这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。InfoQ有幸采访到了Salesforce.com的主开发者James Taylor以了解关于Phoenix的更多信息。除了无数的SQL、NoSQL与NewSQL数据库，Salesforce.com又 宣布了 Phoenix项目，这是构建在 Apache HBase（列式大数据存...
-
编辑 删除
nginx 长连接配置
出处：http://zhangxugg-163-com.iteye.com/blog/1551269nginx upstream keepalive connectionsNginx从 1.1.4 开始，实现了对后端机器的长连接支持，这是一个激动人心的改进，这意味着 Nginx 与后端机器的通信效率更高，后端机器的负担更低。例如，对一个没有长连接支持的后...
