-
Hadoop Hdfs:小文件的硬盘占用
hadoop hdfs 文件存储的时候的block 大小是很大的，比如64M一个，远大于机器的本地文件系统的block大小。 那么如果在hdfs上存储一个小文件，到底会占用多大的硬盘空间呢？ 从 http://stackoverflow.com/questions/15062457/hdfs-block-size-vs-actual-file-size 看，其实只占用很小的硬盘空间。实际上 64M 的块大小，只是文件切分存储的大小。小文件对于 hadoop的影响在于对于 namenode的影响。 [附] http://stackoverflow.com/questions/15062457/hdfs-block-size-vs-actual-file-size 引用如下： Q: &n
-
使用Snort进行入侵检测方法
1．实验环境实验环境如图5-47所示：2．实验步骤第1步：在192.168.10.5上安装Snort。到http://www.snort.org/上下载snort-2.8.6.tar.gz和snortrules-pr-2.4.tar.gz。安装Snort之前先下载并且安装libpcap-devel、pcre和pcre-devel。将snort-2.8.6.tar.gz解压后进入snort-2.8.6，然后依次执行如下命令：[root@localhost snort-2.8.6]#./configure[root@localhost snort-2.8.6]#make[root@localhost snort-2.8.6]#make install[root@localhost snort-2.8.6]#mkdir -p /etc/snort/rules[root@localhost snort-2.8.6]#cp etc/*.con
-
PHP学习之道：[4]PHPEclipse安装与使用
PHP有很多相当不错的开发工具，如Zend Studio、NetBeans、phpdesigner等，但对于习惯Java编程的程序猿们来说，最常用的还要属Eclipse。那么Eclipse能用于PHP开发吗？答案是“必须滴”。 PHPEclipse是Eclipse的一个插件，提供了包括PHP语法分析、运行、调试等功能的集成开发环境。它基于Eclipse的插件机制，即插即用，配置和使用都非常方便。如果平时需要同时进行Java和PHP的Web开发，PHPEclipse是个不错的选择。下面将详细介绍PHPEclipse的安装及相关配置（注意：之前已用XAMPP搭建起PHP环境）。
-
Cloudera授权Hadoop培训 -- 2014年4月份深圳
以下课程由Cloudera授权培训合作伙伴Dataceptik（深圳慧数）负责讲授，摘自其报名网页。 Cloudera Apache Hadoop开发员培训，深圳，2014年4月17日 至 4月20日 （Cloudera官网该课程链接） Cloudera数据分析员培训：使用Pig、Hive和Impala分析Hadoop数据，深圳，2014年4月25日 至 4月27日（Cloudera官网该课程链接） 提示：参加Hadoop开发员培训的学员将获得相应Cloudera认证模拟考试的机会，可以根据自身情况在半年内不限次数反复进行认证考试练习
-
百度网盘播放视频
百度网盘提供很大的存储空间（目前最大2T），用户可以将几乎所有数据、资料等存入百度网盘，比起硬盘，U盘而言，网盘要安全的多，而且基本不会丢失。有的用户将喜欢的视频上传到百度网盘，但是如何在不下载的情况下在线观看视频呢（如果你已经将你的视频上传了），本节小编为大家介绍。本节图片均来自本人的亲自截取。 工具/原料 flash 方法/步骤 1 百度搜索“百度网盘”，进入网盘视频部分。 2 &nbs
-
hadoop安装及出现JAVA HOME is not set和No such file or directo
安装hadoop： 下载hadoop-0.20.1.tar.gz，解压到D:hadoop un， 注意：更改.xml文件的话，可以以文本文档形式打开，修改后保存即可。 注意：启动hadoop之前，要保证环境变量已经配置好，右击我的电脑，属性，高级系统设置，编辑环境变量。 启动hadoop: $ cd d: acer@acer-PC /cygdrive/d $ cd hadoop/run/bin acer@acer-PC /cygdrive/d/hadoop/run/bin $ ./start-all.sh [如果出现localhost: Error: JAVA_HOME is not set. 检查conf目录下hadoop-env.sh文件中，java_home是否设置成JDK安装路径 export JAVA_HOME=/cygdrive/d/JDK
-
游戏原画培训视频教程：[10]剪影的绘制奥秘
剪影的最初产生，据说是欧洲皇室宫廷御用艺术品之一，皇族为了记录他们的御容，除了用各种绘画的方法之外，宫廷艺术家还创造了剪影，以满足他们的要求。剪影艺术于1928年传入我国。 原作者： 董飞
-
游戏原画培训视频教程：[4]素描的任务
素描是一种正式的艺术创作，以单色线条来表现直观世界中的事物，亦可以表达思想、概念、态度、感情、幻想、象征甚至抽象形式。它不像带色彩的绘画那样重视总体和彩色，而是着重结构和形式。 原作者： 董飞
-
linux安装hadoop-2.3.0.tar.gz教程（二）
接下来就是配置各个参数文件： 1、配置hadoop用户的环境变量 vi ~/.bash_profile ,添加如下内容： #set java environment JAVA_HOME=/usr/java/jdk1.6.0_27 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH export JAVA_HOME PATH CLASSPATH #set hadoop path export HADOOP_HOME=/usr/hadoop export PATH=$HADOOP_HOME/bin:$PATH 2、编辑 /et
-
Hadoop学习记录--(2) Jazz
1、SecondaryNameNode 是NN的冷备份（即经过修改后可以充当NN使用），不能是热备份（即当NN挂掉后不能直接用来代替NN）。协助NN合并edits log，减少NN启动时间。 将本地保存的fsimage导入 --> 修改cluster所有的DN的NN地址 --> 修改所有client端的NN地址SNN的地址修改原NNIP。 2、SecondaryNameNode工作原理 3、安全模式 注：一般使用安全模式是在系统升级、维护的时候。 4、HDFS文件读取流程 （1）读文件 （2）取文件 （3）在写文件的时候，HDFS并不是把数据同时发
-
Hbase初探
鉴于在HDFS中数据是不能修改的，所以，以此为基础的hbase的数据也只能永远insert，就算是删除数据，也是插入一条带有删除标记的新数据一，行健行健是数据行在表里的唯一标示，并作为检索记录的主键访问表里的行只有3种方式1，通过单个行健访问2，给定行健的范围范围3，全表扫描行健可以是最大长度不超过64KB的任意...
-
Hadoop实例WordCount程序一步一步运行[命令行]
虽说现在用Eclipse下开发Hadoop程序很方便了，但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记，记录下来以备查。 1. 经典的WordCound程序（WordCount.java），可参见 hadoop0.18文档 import java.io.IOException;import java.util.ArrayList; import java.util.Iterator;import java.util.List; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.P
-
创建ssh远程连接脚本_绕过密码输入待续
因为我的远程主机有很多。所以我也记不住他们的ip。。每次要登录的时候，我都要去主机的控制面板去查看其ip然后再复制到我的终端进行连接。如果是五六个主机，每次都要去登录各种面板，去复制ip很麻烦。如果有别的ssh连接客户端管理工具还不错，那样就可以直接点击了，但是我不太想使用ssh软件。比较喜欢直接使用终端。所以想直接写ssh连接的脚本。创建一个shh.sh!#/bin/bashssh remoteuser@remote.host使用sh shh.sh来执行命令，发现需要输入密码。如何绕过密码输入呢？我看网上很多方法说使用expect脚本，最终发现最简
-
hadoop编译打包
把eclipse下编译的class文件打包成hadoop集群可用文件的过程 首先要在eclipse下运行成功，在工程项目下打bin文件夹为jar文件， 压缩方式为： jar -cvf sort.jar -C bin/ . 这个是一个排序程序，代码如下 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apa
-
hadoop2的伪分布部署
hadoop2的伪分布部署http://www.superwu.cn/2014/01/02/938
-
网站空间是什么？购买空间哪个网站好
网站空间就是，可以读取网页文件代码，并传送给浏览器解译的内存空间，他是IDC机房某一服务器或其划分出来的小功能空间。这么讲吧，网站空间也相当于U盘，里边没着一些文件，电脑通过操作系统转换读取U盘里的东西转换为可视化的文件或图片。这里的U盘就相当于网站空间，操作系统就相当于浏览器,现在明白了吧！ 工具/原料 什么是网站空间 购买空间哪个网站好 免备案虚拟空间 方法/步骤 1 首先说下什么是网站
-
MQ故障诊断及解决：[5]WMQ集群冷启动
最好选择没有业务的情况下进行下面的操作（否则可能需要DISABLE本地相关的应用接收队列，监控队列深度为0后再进行下面的操作） 工具/原料 MQ集群 方法/步骤 1 1、前提准备完全仓储库（FR）队列管理器处于停止状态下，备份其队列SYSTEM.CLUSTER.REPOSITORY.QUEUE的物理文件。a)停止完全仓储库上的有关WMQ应用b)停止完全仓储库队列管理器#endmqm -i QMTESTAc）备份由于SYSTEM.CLUSTER.REPOSITORY.QUEUE的文件#cd /var/mqm/test/qmgrs/QMTESTA/
-
自我介绍ppt模板
很奇怪为什么那么多人要下载自我介绍PPT模板，一个好的自我介绍能简单复制别人的吗？好吧，我得体谅你们在没有成为大神之前必经的小白之路，那就是Ctrl+C 加Ctrl+V。 工具/原料 和秋叶一起学ppt 第一招：葵花宝典，一劳永逸 1 先建议你们看看我写的《十招教会你如何找到海量PPT模板》一文，看了这篇文章，你的搜商必然大增，这篇文章有多受欢迎呢，有微博转发图为证。学会本招，不用自宫，也能成功！ END
-
地狱边境2.0中文电脑版下载试玩
地狱边境中文版2013最新版依旧为我们提供了精彩内容：黑白阴郁的画风、诡异的世界、孤寂的环境、专注于解谜。这是一款另类得接近极端的游戏: 喜欢的人会忍不住探索下去。 工具/原料 电脑端 浏览器 方法/步骤 1 使用浏览器打开百度主页搜索“地狱边境2.0电脑版”，选择第一个进入 2 进入后，如果没有问题，直接点击后面的“下载地址”，点击下载 3 选择下载方式，并进行下载，这里是中文版的
-
solidworks中的弯曲特征实例应用
solidworks当中的弯曲特征很实用，但是很多人都没接触过，不知道如何去使用，在这里我将讲述一个简单弯曲实例教程。 工具/原料 solidworks 2008 步骤/方法 1 1. 我们的目标就是要把如图虚线所示的手柄折弯成实线的样式。 2 2. 首先我们先建模，方法随便，我用的是旋转 3 3. 然后我们绘制如图草图2作为参照，也就是作为布局草图。 4 4. 然后我们画草图3和草图四作为辅助参
