ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • Eclipse-hadoop插件不能使用的可能原因

    这几天换了64位的ubuntu系统,因此需要重新安装eclipse和hadoop。但是,安装elcipse后使用原来的1.0.4插件,打开eclipse软件后没反应。网上有人说是版本的问题,我就换了好几个版本试了试,还是不行。后来才发现我是把eclipse安装/usr目录下,可能是权限的原因吧!于是我在用户级别安装,没出现上述问题。

    pineapple0401 Hadoop 700 2013-07-17 20:04
  • 学java,选择传智播客的8大理由

    1)有实力不怕炫,我们讲师出书出视频出开源项目,炫出什么叫实力。 经过7年的发展,传智播客已经出版书几十本,教学视频几百个,发表各类技术文章几千篇,已经开始对中国的软件教育产生影响。 2)引领新技术,让我们的学员走在别人最前面,守家推出Hadoop,Unity3d,Nginx。 3)课程知识面广,技术讲解深入移动,让我们的学员不仅会做还能明白其中的原理。 4)培养我们学员自己解决问题的能力,拒绝成为“只会点击控件”的工具使用者。 5)终结“行尸走肉”的生活,带您走上“积极向上,充满理想”的人生道路。 6)拒绝“三天打鱼,两天

    loveisamarathon Hadoop 140 2013-07-17 14:38
  • Netflix开源Hadoop集群调度工具:日处理近万作业、上千TB数据

    摘要:为了满足业务需求,他们自建基于S3的Hadoop集群调度工具——Genie。Genie在Netflix投入使用后,日分配近万的Hadoop作业,处理上千TB的数据。现Genie已于GitHub上开源。 之前的报道中,从架构的角度剖析了Netflix的大规模Hadoop作业调度工具。其储存主要基于Amazon S3(Simple Storage Service),利用云的弹性来运行多个Hadoop集群的动态调整,从而应对不同类型的工作负载,这个可横向扩展的Hadoop平台即服务就被称为Genie。而近日,这头来自Netflix的妖怪终于被放出神灯, 于GitHub上开源 。在这里不得不感叹一句

    fghfhrytryt Hadoop 430 2013-07-16 10:05
  • XOR的黄色大象:Erasure Code为Hadoop节省数据恢复带宽

    摘要:如何在尽可能少的成本下,保证数据安全,或在数据丢失后实现快速恢复?这的确是个不小的挑战。在Azure和Facebook中都使用了Erasure Code,这是一种替代Hadoop三副本和传统Reed Solomon Code的高效算法。 【CSDN报道】来自南加州大学和Facebook的7名作者共同完成了论文《 XORing Elephants: Novel Erasure Code for Big Data》。论文作者开发了Erasure Code家族的新成员——Locally Repairable Codes(即本地副本存储,以下简称LRC,它基于XOR。),明显减少修复数据时的I/O和网络流量。他们将这些编码应用在新的Hadoop组

    mtvt1980 Hadoop 294 2013-07-16 10:03
  • Redhat6下hadoop集群环境搭建

    1基础环境 1.1背景          过去一个多月的时间里,本人利用业余时间努力,认真的学习hadoop,前阵子我利用虚拟机搭建了一个伪分布环境,今天,我将这基础上搭建一个全分布式环境。 1.2软硬件环境          硬件:虚拟机两个,都安装redhat-enterprise 6-i386 系统(有虚拟机就是好,多益我们这群穷L丝),机器名称分别取为master,node1。注:如果安装系统后需修改主机名称可以 通过修改/etc/sysconfig/network档案来完成。   

    刘宝的故事 Hadoop 3730 2013-07-15 18:49
  • 百度云笔记怎么用

    工作或者生活中很多时候我们需要做一些笔记,怎么随时随地的方便记录,这里笔者介绍一下怎么使用百度云笔记。 工具/原料 百度帐号一个。手机一个。 方法/步骤 1 使用百度帐号,登录百度云。点击【记事本】。 2 进入“记事本”后,可以看到笔记本的类型可以为文字,图片或者语音,后两者需要下载百度云手机客户端使用。 3 用户可以新建记事本,或者新建记事,这两个概念应该比较容易理解。

    kevinyi Hadoop 772 2013-07-15 14:03
  • 怎样用vmware8.0虚拟机安装ubuntu 12.04系统

    简介:Ubuntu是一个以桌面应用为主的Linux操作系统,Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。由于不想将熟悉已久windows换成Linux,所以这里教大家用虚拟机安装最新版Ubuntu 12.04。所需工具:VMware8.0(含汉化包及产品密钥)、Ubuntu 12.04桌面系统。 电脑软件 名称: VMware8.0汉化版   大小:500MB|版本:8.0|类别:应用工具|语言:中文 应用平台:windows 电脑软件 名称: Ubuntu12.04桌面系统   大小:69

    75232314ww Hadoop 541 2013-07-15 11:21
  • 使用百度云离线下载BT种子文件

     BT没有资源,下载速度很慢,怎么办,这里笔者介绍怎么使用百度云离线下载BT文件。登录“百度云”,地址在参考资料中。点击“网盘”。点击左边导航中的"BT种子"。点击“新建BT任务”。选择需要下载的BT文件。选择保存的目录,然后点击【开始下载】。开始下载后,百度云会帮你把BT文件下载到服务器上,过一段时间后可以到下载时选择的目录查看下载的文件了,如果是视频或者音频,图片还可以在线观看呢。

    27474901 Hadoop 300 2013-07-15 00:41
  • 上海推进大数据研究与发展三年行动计划(2013-2015年)

      前言   在国家和上海市“十二五”科技发展规划及《上海市中长期科学与技术发展规划纲要》指导下,上海市科学技术委员会通过近一年时间的充分调研和讨论,梳理了市场和商业模式创新需求、大数据资源和技术基础、研发能力和人才现状等。经过充分酝酿、多次征求意见,编制本规划:   维基百科把大数据定义为一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上,大数据有三层内涵:一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。大数据对科学研究、经济建

    aginobili Hadoop 182 2013-07-14 15:51
  • hadoop搭建集群

    老板给了个方向 要去搞分布式 要搭hadoop 学习分布式和集群 在实验室装了几台机子之后 开始折腾hadoop 一开始问题就一大堆了 1: 在搭建hadoop集群时,又出现这个新异常。从前并没见过。 jobtracker running as process 4823. Stop it first 当然,不止jobtracker ,也有namenode,datenode等等。 在看了hadoop-daemon.sh代码后,我发现脚本是通过pid文件来停止hadoop服务的,而我的集群配置是 使用的默认配置,pid文件位于/tmp目录下,于是我对比了/tmp目录下hadoop pid文件中的进程id和ps ax查出来的进程id,发现两

    wandifei Hadoop 173 2013-07-13 09:40
  • 关于网络游戏的发展前景

    对于这个时代,不会玩网络游戏的人是不多的,真正抱着正确的态度去体验它的人也是不多的,大部分不是沉迷就是赚钱,早已经污染了本来的品质。游戏给人的就是在现实中不能得到的认可和技能的另外纬度的施展,现在经过单机,2D  3D  的发展,将来的发展肯定会走4D,当然以现在的科技要达到真正的实现还是有很长的路要走,所以,不管这个行业怎么走,也不会违背这个规律,否则只能苟延残喘命不长。所以,善待游戏,正确的玩游戏,树立真正的健康的游戏价值观才是最重要的。

    wwqe1463 Hadoop 133 2013-07-12 15:22
  • 分享网页游戏后台开发技术经验

       尽管网页游戏开发应用的是服务器端脚本编写,但是它的运行还是需要一定的客户端技术支持的,比如网页浏览器,或者浏览器上常用的一些插件,如Java或者Flash。最新的网页游戏典型应用是大型多人在线角色扮演游戏。    最近参与开发了一款网页游戏,网页游戏和普通客户端游戏不同,虽然都可以称为网络游戏,从服务器角度来说,网页游戏所承载的用户量是很少的,一般一组服务器3-4000玩家同时在线。当然,技术含量也相对较低。开发周期短,一般为4-5个月。现在就网页游戏后台开发的技术,谈谈自己的看法。

    莉莉爱施德 Hadoop 99 2013-07-11 16:22
  • 开源框架开发框架|thinkphp自学教程(一)

       开发框架中thinkphp相对应用比较广泛.今天下载了个thinkphp3.1.2的安装包,我用的xammp环境,那么找到htdocs文件夹,我在文件夹下面新建一个文件夹起名叫app,把下载的源码为Thinkphp文件夹放到我们新建的app文件夹下面,然后我们新建一个名为index.php文件,这个index.php文件就是我们这个整个thinkphp开发框架|开源框架的入口文件。        关于入口文件的解释thinkphp官网是这样说的。        ThinkPHP采用单一入口模式进行项目部署和访问

    abc711219 Hadoop 531 2013-07-11 11:09
  • android开发文件读写代码简单介绍

    android文件的读写主要分为两个方面,一个是将内容写入本应用的data文件夹中,另一个是将内容写入到sdcard中。两者都使用I/O流的读写技术。下面具体具体介绍这两方面的内容: 方法/步骤 1 一。将内容写入本应用中:注意android的上下文对象context在这个方法中起的的作用(可以用它来打开一个输出流,或者打开一个输入流),还有文件的写入模式。这里用的是文件的追加模式。数据时只可被本应用操作的。 2 二。将数据写入sdcard中:注意这个方法中的path参数指的是sd

    chrismerchan Hadoop 161 2013-07-10 14:47
  • 谁说菜鸟不会数据分析(工具篇)读书笔记5

    《谁说菜鸟不会数据分析工具篇》Excel数据分析工具库 为了方面进行数据统计分析,Excel提供了一个数据分析加载工具-分析工具库。 一、描述性统计分析,常用指标主要有平均数、方差、中位数、众数、标准差、方差等,提供分析对象数据的集中程度和离散程度等信息 二、直方图,若勾选【帕拉图】,则可以在输出表中同时显示按降序排列的频率数据;如未勾选。则Excel将只输出按默认组距排列的频率数据。帕拉图与直方图的区别就是横坐标是否排序, 三、抽样分析,使用Excel抽样分析工具,既可以实现随机抽取数据,也可以实现周期性间隔

    BEIFANGDELANGXX Hadoop 289 2013-07-10 10:23
  • 天云趋势李学辉参加2013CloudStack大会

    【IT168 资讯】继去年Apache CloudStack社区成功举办了第一届大会后,今年6月24日,为期两天的第二届CloudStack Collaboration Conference在美国加利福尼亚州圣克拉拉盛大举行,Citrix、SolidFire、VMware、Scalr、Netflix等知名企业都参加了本次大会。天云趋势的李学辉受邀参加大会并做《CloudStack在中国的挑战》主题演讲(http://lanyrd.com/2013/ccc13/sckgcc/)。   本次大会的举办,为更多的云计算厂商和用户提供了可交流的社区平台,为建立一个健康的CloudStack生态系统奠定了更坚实的基础,也给全世界为CloudStack做出贡献的

    a273627773 Hadoop 164 2013-07-09 21:55
  • startos安装教程:[4]从硬盘安装(Linux)

    StartOS 是为广大计算机用户设计开发的一款集办公,娱乐,网络浏览等功能于一身的 Linux 桌面操作系统,StartOS沿承Windows使用习惯,极具实用性,StartOS是一款免费、快速、安全、稳定、扩展性强的Linux操作系统。 工具/原料 一台电脑 大于或等于4G以上的硬盘,推荐10G以上 大于等于512MB以上的内存 运行Linux系统的jne电脑 方法/步骤 1 在 Linux 环境下,StartOS团队也提供了类似在Windowsg下的 swin.exe 的

    ytfsrs2008 Hadoop 570 2013-07-09 21:14
  • android:[11]下载项目程序导入eclipse报错

    一般在网上下载android项目,导入eclipse后,都会有错误的。去除项目代码错误后,我们可以从以下几个方面修改,使程序能正常运行 方法/步骤 1 把项目导入到eclipse后,第一件事就是要修改版本号,进入项目  project.properties文件下,修改target的值,版本是你eclipse安装的android的sdk的版本  如果是4.2  则修改成target=android-8Android 4.2   17Android 4.1.x 16 Android 4.0.3 15 Android 4.0.x 14 Android 3.2.x 13 Android 3.1.x 12 Android 3.0.x 11 Android 2

    930334 Hadoop 176 2013-07-09 20:38
  • 纳客会员管理软件(单机版)使用教程

         用户在安装使用纳客会员管理软件时总会有许多问题,比如怎么去安装软件,怎么去使用里面的功能?等等...对于刚接触会员软件的用户来说,这可能是个比较头疼的问题,在这里就详细的给大家介绍下 ,并采用图文介绍的方法,让您更快更迅速的去使用纳客会员管理软件。使用方法1. 首先打开浏览器2.点击单机版下载。3.在下载页面点击普及版下载。4.双击安装文件,点击运行——下一步 。5.安装文件默认D盘,文件安装在哪个盘备份文件就在哪个盘里面。6.勾选运行,点击完成之后,就直接跳转到登录界面 。7.登

    tgelbj Hadoop 194 2013-07-09 14:12
  • 常用数据分析方法

    数据分析:是指用适当的统计分析方法对收集来的大量数据进行分析、汇总,从而获得隐藏在数据背后的信息、结论和业务规律、发展趋势等。   数据分析能够发展起来的原因: 1.海量数据的产生 2.竞争的激烈性 3.获取维护资源成本昂贵? 4.现代科学技术的发展   常用的数据分析方法有对比分析法,结构分析法,交叉分析法和综合评价分析法 对比分析法:分析差异,揭示事物发展变化情况和规律性,对其变化和差距给出量化的标准。有横向比较,纵向比较,行业内对比,活动效果对比等。 结构分析法:分析研究总体内各部分与总体之间

    hy4122 Hadoop 306 2013-07-08 17:40
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章