-
mongodb安装 moqianjun
库 . Mongodb的安装与启动 Linux ------------------------------------------------------------------ 安装 第一步：下载安装包 下载版本：2.0.2-rc2 下载链接： http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.9.ta 首先在linux中解压缩安装程序 通过命令操作： 解压：[root@localhost soft]# tar -xvf mongodb-linux-x86_64-2.4.9.tar 解压过程如下： Dos代码 1.[root@localhost soft]# tar -zxvf mongodb-linux-i686-2.0.2-rc2.tgz 把 mongodb-linux-i686-2.0.2-rc2重命名为mo
-
Hadoop：HDFS—概述 喝no一j#
Hadoop有一个称为HDFS的分布式系统，全称为Hadoop Distributed Filesystem。HDFS是Hadoop的旗舰级文件系统。 ************************************************************************************************** HDFS设计理念 HDFS以流式数据访问模式来存储超大文件，运行与商用硬件集群上。 （1）流式数据访问：HDFS的构建思路是"一次写入，多次读取是最高效的访问模式"。读取整个数据集的实验延迟比读取第一条记录的时间延迟要重要。 （2）商用集群：Hadoop并不需要运行在昂贵且高可靠
-
Linux学习笔记[1] 常用配置文件
/etc/fstab 重启挂盘 /etc/passwd 用户信息 /etc/group 组信息 /etc/default/useradd 用户默认配置信息 /etc/skel 用户家目录的文件由来 /etc/shadow 用户密码信息 /boot/grub/grub.conf grub的配置文件 /etc/sysconfig/i18n 配置中文或者英文 /etc/sysconfig/desktop 默认桌面选择 echo "hello" |passwd --stdin hadoop > /dev/null将hadoop的密码改为hello并将输出结果不显示
-
劳力士手表黑水鬼视频真假辨别分析
原作者： 表帝
-
Mongodb在Windows下安装及配置
1.下载mongodb的windows版本，有32位和64位版本，根据系统情况下载,下载地址：http://www.mongodb.org/downloads 2.解压缩至E:/mongodb即可 3.创建数据库文件的存放位置，比如D:/mongodb/data/db。启动mongodb服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，而且不能启动成功。默认文件夹路径为c:/data/db.使用系统默认文件夹路径时，启动服务无需加--dbpath 参数说明，但文件夹还要手工创建 4.打开cmd命令行，进入D:/mongodb/bin目录，输入如下的命令启动mongodb服务： D:/mongodb/bin>mongod.exe --db
-
Hadoop集群Eclipse开发环境设置(一)
Hadoop集群Eclipse开发环境设置 1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本：jdk-6u31-windows-i586.exe Win系统：Windows 7 旗舰版 Eclipse软件：eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zip Hadoop软件：hadoop-1.0.0.tar.gz Hadoop Eclipse 插件：hadoop-eclipse-plugin-1.0.0.jar 下载地址：http://download.csdn.net/detail/
-
RSA联手Pivotal提供安全分析和大数据指南2014-02-28 15:26 比特网 BIAN
EMC信息安全事业部RSA今日宣布，推出与Pivotal共同开发的全新参考架构，以帮助企业提高安全分析灵活性，增强安全分析能力，同时为更广泛的IT分析投资奠定基础。这个参考架构以RSA和Pivotal的专长为基础，可帮助企业获得深度可视性、进行数据分析以及获得可操作的情报，这些是企业检测和调查现今安全威胁所必需的。该参考架构还为实施更广泛的“IT数据湖”战略提供了坚实基础，有助于控制成本，帮助企业从IT系统中获取最大价值。 此外，该参考架构还显示，RSA和Pivotal技术相结合，可帮助企业调查安全事件，在这类事件对业务造
-
hadoop权威指南中的ncdc数据下载地址及命令 .
如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令：The data are available via:1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html2) FTP -- ftp://ftp.ncdc.noaa.gov/pub/data/gsod via browser3) Comman...
-
linux安装hadoop-2.3.0.tar.gz教程（一）
下载hadoop-2.3.0.tar.gz上传到linux你指定的目录上 然后执行解压： tar zxvf hadoop-2.3.0.tar.gz 重命名解压文件夹： mv hadoop-2.3.0.tar.gz hadoop 删除原来的压缩包： rm -rf hadoop-2.3.0.tar.gz vi /etc/profile 在最后增加如下代码; #set hadoop path export HADOOP_HOME=/usr/hadoop export PATH=$HADOOP_HOME/bin:$PATH 最后执行： source /etc/profile
-
Hadoop SecondNamenode详解
SecondNamenode名字看起来很象是第二个NameNode，要么与NameNode一样同时对外提供服务，要么相当于NameNode的HA。真正的了解了SecondNameNode以后，才发现事实并不是这样的。 下面这段是Hadoop对SecondNameNode的准确定义： *The Secondary NameNode is a helper to the primary NameNode. *The Secondary is responsible for supporting periodic checkopoints
-
《EXCEL 实战应用大师》扫描版[PDF]
内容介绍： 一本从软件入门操作讲起、介绍到完整应用技法的Excel 2010综合图书，书中对“Excel 2010基础知识和基本操作”、“Excel表格美化”、“数据计算分析”、“公式与函数的使用”、“图形图表的创建”、“宏/Excel的外部数据/控件/数据安全性的使用技巧”及“数据共享与打印操作”等核心知识，均以图文并茂的丰富实例解说来实现“易读易懂”的目的。 此外，在介绍Excel软件知识的同时结合实际工作、中的应用实例，做到理论与实践相结合，并特别突出了Excel 2010中一些对实际工作非常有用的新功能。 内容截图： (点击
-
hadoop作业调优参数整理及原理
转载地址：http://www.csdn.net/article/2011-01-21/2906501 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预...
-
hadoop 配置项的调优（R1）
dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=true mapred.reduce.tasks.speculative.execution=true这是两个推测式执行的配置项,默认是true所谓的推测执行，就是当所...
-
Hadoop YARN中内存和CPU两种资源的调度和隔离
Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源调度和隔离的。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的 分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的 “资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这
-
Hadoop的JVM重用 (R2)
Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。 比如我配的是每个slave节点最多同时运行8个map和8个reduce。那么在map阶段，slave节点会启动最多8个JVM用于map。如下： ...
-
安装Hadoop前的准备
安装好JDK后，为了能顺利登录，需要添加新用户并赋予权限，使之登录SSH不再需要输入密码 （1）添加hadoop用户 创建hadoop组，命令如下： sudo addgroup hadoop 创建用户并将其添加到hadoop组中 sudo adduser --ingroup hadoop hadoop （2）配置 SSH 无论是在单机环境还是多机环境中， Hadoop均采用SSH来访问各个节点。在单机环境中，需要配置SSH来使用户 hadoop能够访问localhost。首先需要安装 openssh-server。命令如下： sudo apt-get install openssh-server 配置Hadoop通过SSH无密码登录
-
深入理解Java虚拟机：[1]自动内存管理机制
一：Java内存区域与内存溢出异常 在运行Java程序时，Java虚拟机会把管理的内存划分为若干个不同的数据区域。Java虚拟机运行时数据区数据区域图中，除了方法区和堆区是线程共享区外，其他三个是线程隔离的数据区（private）程序计数器(Program Counter Register):属于线程私有的，占用的内存空间较少，可以看成是当前线程所执行字节码的行号指示器，字节码解释器工作时就是通过改变这个计数器的值来选择下一条，需要执行的字节码指令，分支，循环，跳转，异常处理，线程恢复等基础功能需
-
Hadoop及Mahout安装
Hadoop及Mahout安装 环境：虚拟机VMware7+Ubuntu 12.04 1，先下载需要的文件： 【注意】：版本问题很重要 jdk，eclipse，maven Hadoop：http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/ 我其实先下载了0.2.0 mahout：http://labs.renren.com/apache-mirror/mahout/0.7/ 2，安装jdk，下载的rpm包，需要安装alien，然后用alien把rpm转换成deb，再使用dpkg安装 3，eclipse解压，我用的helios版 4，maven解压，配置环境变量： 我的/etc/profile文件最终的配置（我的文件都放在share目录下，然
-
R语言为Hadoop注入统计血脉 LFF
摘要：Hadoop主要用来存储海量数据，R语言则完成MapReduce算法，替代Java的MapReduce实现。有了R语言与Hadoop结合而成的强大工具RHadoop，广大R语言爱好者甚至可以处理PB级大数据，大数据带来的单机性能问题一去不复返了。 【编者按】R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R
-
Hadoop：Hadoop本地库和系统库版本不一致 喝no一j#
这个问题是针对于hadoop版本是2.2.0。上面这个报错是在启动HDFS出现的，完整的信息如下： *********************************************************************************************** Hadoop本地库 Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。 Hadoop本地库在hadoop文件夹下lib/native中，内容如下： 其中的libhadoop.
