-
【转】RedHat6.3搭建Hadoop2.2.0单机版
1：下载Hadoop安装包 wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz 2：下载Jdk wget https://edelivery.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-i586.tar.gz 3：redhat6.3配置JDK 步骤一：tar -zxvf jdk-7u45-linux-i586.tar.gz
-
Hadoop NameNode元数据相关文件目录解析
下面所有的内容是针对Hadoop 2.x版本进行说明的，Hadoop 1.x和这里有点不一样。 在第一次部署好Hadoop集群的时候，我们需要在NameNode（NN）节点上格式化磁盘： 1 [wyp@wyp hadoop-2.2.0]$ $HADOOP_HOME/bin/hdfs namenode -format 格式化完成之后，将会在$dfs.namenode.name.dir/current目录下如下的文件结构 1 2 3 4 5 6 current/ |-- VERSION |-- edits_* |-- fsimage_0000000000008547077 |-- fsimage_0000000000008547077.md5 `-- seen_txid 其中的dfs.namenode.name.dir是在hd
-
Eclipse 可视化插件WindowBuilder安装
WindowBuilder是一款基于Eclipse平台的双向Java的GUI设计插件式的软件。它具备SWT/JFACE开发、Swing开发及GWT 开发三大功能，是一款不可多得的Java体系中的WYSIWYG工具。 工具/原料 WindowBuilder 方法/步骤 1 在官网查询相应Eclipse的WindowBuilder下载地址（可以使用在线安装或者下载离线安装包在本地安装） 2 点击更新站点的连接，复制更新站点地址栏地址 3 Select "Help > Install New
-
hadoop集群分布安装
-
JDBC连接MySQL Oracle等各种数据库URL连接书写方式
今天首次使用IReport 5.5,看到下面 我乐了...你懂了吗？ 哈哈 自己找亮点 PS：1图 可以找到常见数据库的jdbc连接数据库的url方式 2图 可以看出ireport是so fashion，看到没？Hadoop hive ，Mongo 什么的统统支持，不在话下
-
目前在招聘职位： sean
软件工程（系统开发高性能网络服务方向） 薪资范围（年薪）：25W-40W 软件工程师（微博架构/高级系统研发） 薪资范围（年薪）：25W-40W 软件工程师（云计算，Hadoop） 薪资范围（年薪）：25W-40W 软件工程师（安卓） 薪资范围（年薪）：25W-40W 软件工程师（IOS） 薪资范围（年薪）：25W-40W 软件工程师（C ） 薪资范围（年薪）：25W-40W 开发经理 薪资范围（年薪）：50W以内 CTO 薪资范围（年薪）：60W起 架构师 薪资范围（年薪）：50W起 开发总监 薪资范围（年薪）：
-
maven及eclipse maven 插件配置
maven基本配置及插件的使用 工具/原料 maven,eclipse maven插件m2clipse 方法/步骤 1 下载apache maven解压到d盘：D:apache-maven-3.0.5在环境变量里path后面加入D:apache-maven-3.0.5in;开始--》运行--》cmd--》输入mvn -version查看安装版本 2 复制 D:apache-maven-3.0.5confsettings.xml到目录D:mavenRes中，用于保存jar包。编辑settions.xml修改localRepository处为 <localRepository>D:mavenRes</localRepository>
-
Top IT job skills for 2014: Big data, mobile, cloud
The IT job market is on the rise, and top jobs include anything in big data, mobile, cloud or security. Learn more about the latest hiring trends with TechRepublic's roundtable of IT executives and tech recruiters. jobs illustration.jpg Credit: iStock Tech hiring trends vary year by year. The top IT hiring trends for 2014 include the driving need for IT security, the boom of big data, and more people embracing the cloud. TechRepublic talked to several IT executives
-
Hadoop集群配置（最全面总结）
（转载） Hadoop集群配置（最全面总结） 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html) 1 先决条件 确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，Hadoop JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安
-
《魔剑传说》入门手册之基本操作
《魔剑传说》的特色是尊重游戏原作,让大家能玩上最原汁原味的奇迹页游版本。SJC在基本操作方面,是标准的鼠标操作配合快捷键操作的主流方式。工具魔剑传说0304方法/步骤1.人物行走鼠标操作:在游戏画面中,你所控制的角色位于屏幕中央位置附近。移动位置时,只需按压鼠标左键移动方向即可到达的地方。(在副本时,可以选择挂机,自动打怪,无需操作,完成之后会自动退出。)2.拾取物品地面有物品时,走到该物品旁,鼠标左键点击物品。3.使用道具点击屏幕右下角快捷图标栏的“包裹”图标或按快捷键“B”,打开“包裹”界面。将鼠标移
-
【科技英雄传】C语言之父的侄子重塑Twitter - 互联网焦点 - 21CN.COM
腾讯科技 瑞雪 2月28日编译 山姆·里奇（Sam Ritchie）最早并非一名程序员，他曾是美国短程皮划艇代表队中的队员之一，并在2009年的世界锦标赛中折桂而归。 里奇曾就读于普林斯顿大学，专业是机械和航空航天工程；但直到他叔叔在2011年底过世以后，他才攀上了作为一名程序员的巅峰。那时里奇创造了一种工具，而这种工具对于Twitter这个正在繁荣发展中的网络“帝国”来说是至关重要的。 这种转变中当然混杂着某种很诗意的东西。里奇的叔叔丹尼斯·里奇（Dennis Ritchie）是计算历史上最重要的软件开发者之一，他在距离普林
-
魔剑传说入门手册
《魔剑传说》的特色是尊重游戏原作,让大家能玩上最原汁原味的奇迹页游版本。操作方面,是标准的鼠标操作配合快捷键操作的主流方式。工具魔剑传说0304方法/步骤1.人物行走鼠标操作:在游戏画面中,你所控制的角色位于屏幕中央位置附近。移动位置时,只需按压鼠标左键移动方向即可到达的地方。 (在副本时,可以选择挂机,自动打怪,无需操作,完成之后会自动退出。) 2.拾取物品地面有物品时,走到该物品旁,鼠标左键点击物品。3.使用道具点击屏幕右下角快捷图标栏的“包裹”
-
linux 配置SSH免密码登录
首先确保你已安装ssh，RedHat自带有openSSH，所以不需要考虑。 第一步：使用 #ssh-keygen -t dsa ，使用这个命令之后会提示是否输入密码，这里不输入密码，一路enter下去就可以了，最后会在用户目录下的隐藏文件夹.ssh下生成id.dsa和id_dsa.pub两个文件，分别为私钥和公钥。 也可以直接使用#ssh -keygen -t dsa -P '' -f ~/.ssh/id_dsa，这样就无需再被问询了。 这里说一下SSH加密有两种方式：dsa和rsa，对应的命令一样只是在-t指示加密类型时一个是dsa，另一个是rsa 第二步：将公钥追加到authorized_keys文件中，也在.ss
-
最新hadoop2.3的安装配置
上个月hadoop低调发布了2.3版本，今天闲来无事配置了一下，发现新版hadoop目录结构和启动方式有了 一些不同，记录如下： 1.到hadoop官网下载最新版本 hadoop-2.3.0.tar.gz 2.拷贝并解压到本机目录，我是放在 /usr/local/目录下 解压后目录结构如下： bin目录下是hadoop、hdfs、yarn的命名文件 sbin目录下是脚本文件，今后经常用到的启动、停止脚本在这里 配置文件在 hadoop/etc/hadoop下，晕 3.修改基本配制文件/etc/profile #添加hadoop变量，如下 HADOOP_HOME=/uar/local/hadoop/
-
Hadoop：HDFS—文件IO 喝no一j#
这里将深入探索Hadoop的Filesystem类：与Hadoop的某一文件系统进行交互的API。这个概念类似于Unix编程中的open，read和write等操作文件系统的接口函数。 ************************************************************************************************** 从Hadoop URL读取数据 要从Hadoop文件系统中读取文件，最简单的方法是使用java.net.URL对象打开数据流，进而读取数据。具体格式如下： ======================================================================== cat &nb
-
virtualbox 虚拟3台虚拟机搭建hadoop集群
原文 http://www.cnblogs.com/suncoolcat/p/3358108.html 用了这么久的hadoop，只会使用streaming接口跑任务，各种调优还不熟练，自定义inputformat ， outputformat， partitioner 还不会写，于是干脆从头开始，自己搭一个玩玩，也熟悉一下整体架构。 整体环境： 主机Win7 i5 4核 8G内存 笔记本； 虚拟机（客户机）采用Centos5.9 （ 用这个的原因是不想用图形界面，并且以后还想试着装一下ICE） 3台互联的虚拟机搭建 Hadoop集群： 1. 选用virtualbox V4.2.18 + Centos 5.9 v
-
Hadoop中一个distcp (R1)
hadoop中有一个叫做distcp（分布式复制）的有用程序，能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar 这将从第一个集...
-
EMC中国研究院招聘云计算大数据实习生
我们正在寻求优秀的计算机及其相关专业的实习生加入中国研究院。 我们关注的技术点主要包括：数据生命周期管理，包括数据存储，数据保护，业务连续性和可靠性方面。软件开发的最新动态，例如编程语言，编码技巧，应用框架，开发流程，项目管理。 大数据相关技术发展，关注于数据架构研究，大规模数据存储，管理和分析等。云计算的相关技术，包括云平台构建于高效管理，平台扩展性，安全性以及云平台中间件等方面的创新和管理。 职位要求： · - - 熟悉HTML/CSS/JavaScript等Web前端开
-
memcache Redis mongoDB（转转CSDN）
先说我自己用的情况： 最先用的memcache ,用于键值对关系的服务器端缓存，用于存储一些常用的不是很大，但需要快速反应的数据 然后，在另一个地方，要用到redis，然后就去研究了下redis. 一看，显示自己安装了php扩展，因为有服务器上的redis服务端，自己本地就没有安装，其实用法和memcache基本一样，可能就是几个参数有所不同。当然 它们缓存的效果也不一样，具体的哪里不一样，一下就是一些资料，和自己的总结 1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如图片
-
查看电脑用户的方法
您在使用电脑的过程中，是否想要知道正在运行中的电脑是否被其它人登录并使用呢？如果有这个想法，请看本文。 工具/原料 任务管理器 登录用户 方法/步骤 1 在您的电脑桌面上点击“开始”菜单，在弹出的菜单中选择“运行”，打开运行界面。 2 在运行界面输入框中输入“taskmgr”，点击“确定”。 3 此时便会打开电脑的任务管理器，在任务管理器界面，点击“用户”选项卡，在下方就可以看到所
