-
Hadoop源码分析之心跳机制 疯狂java培训
一．心跳机制 1. hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。 2. master启动的时候，会开一个ipc server在那里，等待slave心跳。 3. slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。 4. 需要指出的是：namenode与datanode之间的通信，jobtracker与tasktracker之间的通信，都是通过“心跳”完成的。
-
Windows批处理命令for的妙用
Dos时代下的命令在Windows时代早以不被重视，Dos时代下的复杂命令在Windows时代中动动鼠标就能完成。到了Win7时代，90后甚至听都没有听说过，但Win7时代也不敢把Dos命令给彻底放弃，下面介绍一下我用for命令批处理远程强制关闭公司局域网内下班后忘记关机的电脑。 工具/原料 Windows系统、局域网 步骤/方法 1 先看一下网内还都有谁没有关机，在运行里输入cmd打开命令行，我们公司的IP地址从192.168.1.101到192.168.1.112，因此在命令下输入for %i in (101,1
-
[恶搞]Hadoop 2.0 安装向导 (0.23.x)
Hadoop 2.0安装向导 (0.23.x) 最新版本的HADOOP2.0与老版本相比有不同的目录结构。 本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法（Hadoop 0.23安装）。 这有许多可以执行的方式，现在介绍以下： 如果想安装老版本的hadoop此处不再介绍。 首先一个可用的linux操作系统，此处介绍使用ubuntu 创建一个名为hadoop的用户并做以下操作： 1、 配置SSH 2、 安装JDK 3、 安装Hadoop 更新 repository #sudo apt-get update 下载SSH #sudo apt-get install openssh-serveropenssh-client #ssh-keygen -t dsa -P '' -f ~
-
robots.txt文件代码说明实例
在一个站点的根目录下，而且文件名必须全部小写。要访问robots.txt文件就是在域名后面加“/robots.txt”，比如说访问www.zzrl120.com网站中的robots协议，就应该在地址栏输入www.zzrl120.com/robots.txt 就可以访问了。 robots协议是搜索引擎在爬取网站的时候要查看的第一个文件，文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的，对应的不允许查看的内容，蜘蛛程序是不会查看。 robots协议中的代码说明： 1 User-agent:*允许所有搜索引擎抓取(注意每个":"后面的
-
Outlook 2010怎样新建配置文件
当Outlook 2010发送错误时，我们可以通过重新创建新的配置文件来重新加载数据。下面让我们一起来看操作方法： 步骤/方法 1 在桌面左下角单击“开始”按钮，弹出的菜单窗口单击“控制面板” 2 在控制面板中单击打开“邮件” 3 弹出邮件设置对话框，单击“显示配置文件”按钮 4 打开邮件对话框，单击“添加”按钮 5 为新的配置文件命名，单击“确定”按钮
-
大数据下的数据分析平台架构 运营-策划 草根网
大数据下的数据分析平台架构_运营/策划_草根网 谁也无法否认，随着互联网、移动互联网和物联网的发展。已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB对这些海量数据的分析已经成为一个非常重要且紧迫的需求。作为一家互联网数据分析公司，海量数据的分析领域那真是被“逼上梁山”多年来在严苛的业务需求和数据压力下，几乎尝试了所有可能的大数据分析方法，最终落地于Hadoop平台之上。Hadoop可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数
-
python编程迭代与循环
循环结构是用于迭代多个项的for语句，迭代形式可以循环序列的所有成员。如果所创建的对象为整数，还可以用range(i,j,[,步进值])，i为初始数值，j为终止数值，但不包括在范围内，步进值为可选参数，不选的话默认为1，i不选的话默认为0. 工具/原料 python2.7, IDLE python GUI 步骤/方法 1 打开IDLE python GUI，点击开始-所有程序-python2.7-IDLE python GUI，或者直接进入dos环境，或者其他的IDLE。 2 如果想循环1至10，代码为f
-
matlab并行计算（一）（转）
MATLAB分布式并行计算环境（一） 前言：之前在本博客上发过一些关于matlab并行计算的文章，也有不少网友加我讨论关于这方面的一些问题，比如matlab并行计算环境的建立，并行计 算效果，数据传递等等，由于本人在研究生期间做论文的需要在这方面做过一些研究，但总体感觉也就是一些肤浅的应用，现已工作，已很少再用了，很多细节方面 可能也记不清了，在这里将以前做的论文内容做一些整理，将分几个小节，对matlab并行计算做个一个简要的介绍，以期对一些初学者有所帮助，当然最主要 的还是多看帮助文档及相关技术文章！
-
打鱼游戏单机版2.0下载
游戏信息游戏名:打鱼游戏单机版标签:单机版/射击/打鱼大亨客户端大小: 6.33M游戏语言：中文日期: 2011-09-15当前版本：2.0 打鱼大亨单机版也称为《深海狩猎》，是老K游戏推出的一款休闲娱乐游戏。该游戏是由当前街机最具人气的游戏“捕鱼达人”移植而来。游戏场景采用全3D制作，各种鱼类游动姿态自然，炮弹打击粒子效果华丽，场景变换丰富多彩，为玩家营造了一个生动的海底狩猎场。 打鱼游戏 1 打鱼游戏单机版，自街机最热门的游戏完美升级，操作简单！趣味性强！新版本完美
-
linux单机安装hadoop
配置：fedora14 hadoop1.0.3 jdk1.7 1. fedora14已经安装了ssh 2. jdk1.7已经安装完成 3. 建立ssh无密码登陆 （1） ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 直接回车，完成后会在 ~/.ssh/ 生成两个文件： id_dsa 和 id_dsa.pub 。这两个是成对现，类似钥匙和锁。 （2） 再把 id_dsa.pub 追加到授权 key 里面 ( 当前并没有 authorized_keys文件 ) ： cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys （
-
《捕鱼之海底捞美人鱼》游戏评测
大家期待已久的捕鱼游戏强势震撼登场啦。本文小编和大家分享的游戏叫《捕鱼之海底捞美人鱼》。这是一款休闲类游戏，游戏采用中文。评测要点：游戏剧情、游戏特色、游戏画面、游戏操作。评测机型：MOTO defy ME525，系统版本：android 2.2.2 工具/原料 《捕鱼之海底捞美人鱼》，安卓手机 步骤/方法 1 【游戏介绍（剧情）】★★★☆☆ 《捕鱼之海底捞美人鱼》主要是捕获美人鱼。如果加勒比海盗4曾经让你对美人鱼充满了各种幻想。那么，《捕
-
配置JAVA的环境变量
Java是由Sun公司开发的一种应用于分布式网络环境的程序设计语言，Java语言拥有跨平台的特性，它编译的程序能够运行在多种操作系统平台上，可以实现“一次编写，到处运行”的强大功能。 工具/原料 JDK 1.7 安装包 步骤/方法 1 想要成功配置Java的环境变量，那肯定就要安装JDK，才能开始配置的。 2 安装JDK 向导进行相关参数设置。如图： 3 正在安装程序的相关功能，如图：
-
怎样将环境变量中的多个path合并成
当我们安装了许多软件之后，我的电脑-高级-环境变量中会出现多个同名的环境变量。那么该如何将环境变量中的多个path合并成一个呢?本文就是为了解决环境变量的而生的。先来了解下什么是环境变量吧!环境变量是一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如path，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到path中指定的路径去找。用户通过设置环境变量，来更好的运行进程。环境变量一般是指在操作系统中用来指定操作系统运行环境的一
-
excel怎样快速的将非文本数据转换为文本数据
在处理数据的时候发现，有些数据是文本型数据，有些数据是数字型数据，这使得我们法对数据进行处理了。我们要快速的将非文本数据转换为文本数据，方法如下： 步骤/方法 1 在数据表的右边建立一个新的列输入列标题为：是否为文本 2 在B2单元格插入公式，操作步骤是：公式菜单下执行--其他函数--信息--istext 3 在弹出的对话框中，我们输入A2，然后点击确定。这个参数的意思就是判断A2单元格是否为文本
-
python编程字典的创建与使用
字典是有多个键和对应的值构成的对组成，每个键与它的值之间用冒号隔开，项之间要逗号隔开，整个字典有一个大括号括起来，空字典有两个大括号组成。可以有dict函数创建一个字典，也可以通过列表的方法。键可以为任何不可变类型。每一个键都会有一个值相对应。 工具/原料 python2.7, IDLE python GUI 步骤/方法 1 打开IDLE python GUI，点击开始-所有程序-python2.7-IDLE python GUI，或者直接进入dos环境，或者其他的IDLE。 2 字
-
山东省计算中心2012年高层次人才招聘简章
一、简介 山东省计算中心成立于1976年，隶属于山东省科学院，是山东省成立最早的从事计算机技术研究的公益性科研机构。成立至今，始终坚持以科研为中心，以提高自主创新能力为主攻方向，以研发出有自主知识产权、有实际应用价值的高水平科研成果，着力突破制约经济社会发展的关键领域、关键技术难题，为山东省乃至国家经济建设又好又快发展做出了应有贡献。 近年来，山东省计算中心确立了以科研为中心，以“山东省计算机网络重点实验室”为技术研发平台，在计算机网络、语音通信、软件测试、
-
怎样解决eclipse提示打不开java虚拟机
Eclipse是java平台开发中最流行的工具，但是，我们经常会遇到eclipse打不开的情况，那么该怎么设置才会避免这种情况呢?让我们来看看如何设置eclipse的虚拟内存吧!简单介绍下Eclipse吧!Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。那么如何设置eclipse的虚拟内存呢，我们需要进入eclipse的解压目录中设置。下面来跟着我一起操作吧! 图片显示的
-
[转]Hadoop 源码下载，编译，install，导入eclipse
源地址：http://yjhexy.iteye.com/blog/591769 1，准备好环境 首现操作系统最好还是LINUX，WINDOWS上搞起来太麻烦 JDK1.5必须的，最好JDK1.6也准备好。以备版本升级的时候需要用 svn 1.5版本的或者以上的 eclipse http://www.eclipse.org/ 上下载 ||| eclipse的svn插件 ant http://ant.apache.org/ 下载 ivy http://ant.apache.org/ivy/ 下载，下载完后放在 ant的lib目录下，因为ivy是ant的一个子工程 forrest http://forrest.apache.org/mirrors.cgi#how 用于编译生成文档的类库 准备好以上环境，就差不多了。 2，下载源代码
-
怎样设置IE浏览器下载文件后的保存位置
使用IE浏览器自带的下载功能，下载后单击“保存”IE浏览器会将文件保存到默认的位置，但又不是我们想要的位置，每次都要浏览到指定的位置，很是麻烦，其实我们可以通过注册表来修改IE浏览器下载后的保存位置。 步骤/方法 1 单击左下角的“开始”按钮，弹出的菜单窗口单击“运行”命令 2 在打开的运行对话框中输入“regedit”命令，单击“确定”打开注册表编辑器 3 在左侧窗口找到并定位到以下注册表子项HKEY_CURRENT_USERSoftwareMi
-
Hadoop 集群配置
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html) 1 先决条件 确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，Hadoop JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 2 实验环境搭建 2.1 准
