ITPub博客

首页 > 大数据 > Hadoop

关于 “Hadoop” 的内容如下:

  • Dede二次开发之代码篇:[2]

    织梦CMS是集简单、健壮、灵活、开源几大特点的开源内容管理系统,是国内开源CMS的领先品牌,目前程序安装量已达七十万,超过六成的站点正在使用织梦CMS或基于织梦CMS核心开发. 方法/步骤 1 2.1、common.func.php 公用函数获得当前的脚本网址function GetCurUrl()返回格林威治标准时间function MyDate($format='Y-m-d H:i:s',$timest=0)把全角数字转为半角function GetAlabNum($fnum)把含HTML的内容转为纯textfunction Html2Text($str,$r=0)把文本转HTMLf

    luciuse Hadoop 681 2014-03-09 12:18
  • 写几个Hadoop部署用到的小脚本

    迩来丢弃非ssh毗连的hadoop集群摆设体式花式了,借是回到了用ssh key 验证的体式花式上了。这里里就有些麻烦,每台机器都要上传公钥。恰好我又是个很懒的人,所以写几个小剧本完成,只要正在一台机器上里就可以做公钥的分发了。 尾先是生成ssh key剧本 #!/bin/sh ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ssh-keygen一般来讲需求输进passphrase,可是一般都是三个回车过来了,我懒的输进,加上-P ""就不消了。 然后是增加公钥到从节面的剧本 #!/bin/sh read -p "输进近端管

    bdjs Hadoop 375 2014-03-09 02:22
  • hive

    log4j:ERROR Could not instantiate class [org.apache.hadoop.hive.shims.HiveEventCounter]

    yang1721 Hadoop 3602 2014-03-08 23:33
  • hadoop1.0 内存关系

      1. 内存 hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。 大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设置namenode的内存,可以通过HADOOP_NAMENODE_OPTS来设置。 export Hadoop_NAMENODE_OPTS="-Xmx15360m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS" 同样的,可以通过HADOOP_SECONDARYNAMENODE

    jss001 Hadoop 985 2014-03-08 22:16
  • hadoop伪分布修改为集群及动态添加节点

    1.1、每台机器的hosts都应该保存有所有机器的映射 1.2、每台机器都安装hadoop,和jdk并配置环境变量 1.3、删除原伪分布机器中hadoop目录下的tmp和logs 1.4、配置主节点的slaves文件 1.5、格式化namenode   2.1、配置好新机器 2.2、把新节点添加到主节点的slaves中 2.3、在新节点中执行     hadoop-daemon.sh start datenode     hadoop-daemon.sh start tasktracker 2.4、主节点执行     hadoop dfsadmin refreshNodes

    dbshut Hadoop 1053 2014-03-08 19:06
  • Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析

    课程讲师:蒙老师  课程分类:Java 适合人群:初级 课时数量:70课时 用到技术:MapReduce、HDFS、Map-Reduce、Hive、Sqoop 涉及项目:Greenplum Hadoop大数据分析平台 一、课程内容介绍:      1、课程背景       GREENPLUM适用场景:            Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统、数据库等,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件

    donaldzhangcn1c Hadoop 724 2014-03-08 16:30
  • 安装mongodb

    windows下安装: 1.下载mongodb的windows版本,有32位和64位版本,根据系统情况下载,下载地址:http://www.mongodb.org/downloads 2.解压缩至E:/mongodb即可 3.创建数据库文件的存放位置,比如D:/mongodb/data/db。启动mongodb服务之前需要必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。默认文件夹路径为c:/data/db.使用系统默认文件夹路径时,启动服务无需加--dbpath 参数说明,但文件夹还要手工创建 4.打开cmd命令行,进入D:/mongodb/bin目录,输入如下的命令启动mongodb服务: mongod.exe --dbpath D

    jichenghan Hadoop 929 2014-03-08 14:33
  • 光影魔术手4教程使用指南—光影魔术手4怎么抠图

    新发布的光影魔术手4.0在布局以及操作上有不少改变,下面介绍如何用4.0给照片抠图以及更好背景颜色; 工具/原料 电脑一台; 光影魔术手4.0; 方法/步骤 1 首先打开一张红色背景的照片,我们看到这是一种红色背景的证件照,如何抠图呢,下面一步步来实现更换背景; 2 如图依次点击抠图——自动抠图; 3 在弹出的抠图界面,我们点击选中笔然后在需要的地方划下; 4

    assd123123 Hadoop 1480 2014-03-08 09:44
  • Linux Hbase安装

    一:环境准备服务器:hadoop-master,hadoop-slave01,hadoop-slave02hbase版本:hbase-0.94.17.tar.gzHBase自带了Zookeeper,但为了方便其他应用程序使用Zookeeper 在这里使用单独安装的Zookeeper集群。Hadoop集群,Zookeeper集群,HBase集群是三个互相独立的集群,并不需要部署在相同的物理节点上,他们之间是通过网...

    百联达 Hadoop 2793 2014-03-07 15:40
  • Unity3D游戏引擎开发实战从入门到精通

    Unity3D游戏引擎开发实战从入门到精通(坦克大战项目实战、NGUI开发、GameObject)一、Unity3D游戏引擎开发实战从入门到精通是怎么样的一门课程(介绍)1.1、Unity3D游戏引擎开发实战从入门到精通课程的背景现如今游戏已经成为了人们生活中不可或缺的一部分。  本Unity3D游戏引擎开发实战从入门到精通课程将通过实例来讲解Unity3D的开发过程。由浅入深的,让学者快速的掌握Unity3D开发的要领及Unity3D的知识点。达到快速开发的目的。1.2、Unity3D游戏引擎实战开发从入门到精通课程内容简介:Unity3D游戏引擎开发由浅入深的介

    goldench Hadoop 1837 2014-03-07 15:35
  • Eclipse开发PHP环境配置

    本文主要讲解Eclipse如何开发php,以及php环境的配置! 工具/原料 Apache,PHP, Eclipse IDE for Java EE Developers,DLTK Core Frameworks 1.0 Integration build,PDT 2.0,Zend Debugger 方法/步骤 1 首先,安装配置Apache和php环境。安装不多说,Apache是个msi文件,php只要解压缩就可以了。配置比较烦,步骤如下:1. 编辑php.ini 1) extension_dir = "./"    修改为 extension_dir = "C:/php-5.2.6/ext&quo

    djhuu Hadoop 895 2014-03-07 15:04
  • IBM大数据与分析再升级 大步迈进认知计算时代

    今日,IBM召开2014大数据新闻发布会,全面展示其从大数据与分析全面实力向认知计算商业实践的大阔步发展。作为大数据与分析领域领导者,IBM再度升级其涵盖软件、硬件、服务、研发的全线大数据与分析能力,宣布在业界首个实现认知计算能力商业化,以全新认知分析助力企业加速实现大数据及分析能力。 大会重点解析了全球调研白皮书《分析:价值的蓝图》。作为IBM商业价值学院迄今为止最为全面的大数据与分析商业行为调研,该白皮书揭示了“分析为要”的大数据成功实践之道,以众多行业案例阐述:企业如何从大数据中获得商业价值和转型动

    japan88 Hadoop 162 2014-03-07 14:38
  • Hadoop学习记录--(1) Jazz

    0、名词介绍:  HDFS:分布式文件系统(HadoopDistributedFileSystem).  SecondaryNameNode: 1、Hadoop结构(Master/Slave):     在Hadoop的系统中,会有一台Master,主要负责NameNode的工作以及JobTracker的工作。JobTracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave,每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。 2、Hadoop为什么处理小文件效率不高?   是因为其默认的Block为64MB

    zelphi Hadoop 83 2014-03-07 12:51
  • countif函数的使用方法及实例

    excel中countif函数使用率较高,它用来求满足区域内指定条件的计数函数,本文首先解释下countif函数的语法,再通过两个实例介绍该函数的具体用法。 工具/原料 office excel 方法/步骤 1 函数语法:countif(range,criteria)range表示要计算其中非空单元格数目的区域criteria表示统计条件 2 以下表为例演示countif函数的用法,求得分90分以上的学生数量。 3 在C2单元格输入公式=COUNTIF(B2:B20,">90"),其中B2:B20表

    nyzhou_cu Hadoop 1616 2014-03-06 22:40
  • Hadoop学习笔记--发展历程&版本

    1.1. Hadoop的发展历程 1. 这一切是如何开始的—Web上庞大的数据! 2. 使用Nutch抓取Web数据 3. 要保存Web上庞大的数据——HDFS应运而生 4. 如何使用这些庞大的数据? 5. 采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析 6. 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse...

    luckyfriends Hadoop 5092 2014-03-06 17:27
  • 百度竞价推广数据分析的误区

    做百度竞价需要对日常的数据进行分析,以便更好的分析帐户,总结经验,调整关键词的投放等等。但是目的只有一个就是以最小的预算换的最大的回报。下边小脑袋竞价软件小编来和大家分析一下百度竞价数据分析的误区有哪些。 误区一:以点概面,以某一天的数据进行分析 竞价帐户不可以以一天的情况来衡量总体表现,常常会有人问我:昨天的咨询怎么那么少了?昨天的展现那么多,点击怎么那么少?我觉得你应该问这个季度转化多少,收入多少,预算的结果是多少。举个例子来说吧,你去掷硬币,你抛了6次都是正面,能说明抛正面的概率是100%

    qiaoe5 Hadoop 101 2014-03-06 16:36
  • linux ZooKeeper集群安装

    一:环境准备服务器:hadoop-master,hadoop-slave01,hadoop-slave02zookeeper版本:zookeeper-3.4.5.tar.gz二:安装tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/localchown -R hadoop:hadoop /usr/local/zookeeper-3.4.5.tar.gz三:参数配置在conf文件目录下面cp zoo_sample.cfg  zoo.cfg编辑zoo.cfg文...

    百联达 Hadoop 2598 2014-03-06 14:14
  • sublime text2/3怎样在windows中配置ctags插件

    本文详解在windows中配置Sublime Text的CTags插件,并实现函数跟踪转跳的开发环境。演示使用的是windows7 64位操作系统和Sublime Text 3 64位版安装配置CTags前请确保已安装Package Control插件管理器 工具/原料 Sublime text 2 / 3 ctags58.zip Package Control 方法/步骤 1 打开Sublime Text 2/3软件,在Preferences(设置)菜单中打开Package Control(插件管理器)打开菜单后找到install packages,回车执行,稍等一会看到左下角提示安装成

    cfanlds Hadoop 2560 2014-03-06 10:34
  • Sublime Text2/3怎样在Ubuntu中配置CTags插件

    本文详解在Ubuntu Linux中配置Sublime Text的CTags插件,并实现函数跟踪转跳的开发环境。演示使用的是Ubuntu 12.04 64位操作系统和Sublime Text 3 64位版安装配置ctags前请确保已安装Package Control插件管理器 工具/原料 Sublime Text 2/3 方法/步骤 1 打开Sublime Text 2/3软件,在Preferences(设置)菜单中打开Package Control(插件管理器) 2 打开菜单后找到install packages,回车执行,拉取插件列表要等一小会

    delphilaoda Hadoop 2222 2014-03-06 10:34
  • 百度竞价培训课程大纲

    百度竞价培训课程大纲 一、百度竞价概念篇 · 百度竞价账户结构及相关设置 · 关键词(质量度、匹配方式、否定关键词) · 创意(飘红、通配符、断句符、展现方式、推广位及推广链接) · 蹊径(资格、格式、展现) · 价格(出价、点击价格、最低展现价格) · 百度竞价排名机制及价格计算公式 二、百度竞价操作篇 · 如何新建百度竞价账户 · 账户、计划、单元、关键词、创意相关设置 · 百度竞价如何拓展关键词 · 百度竞价如何查看关键词排名 · 百度竞

    bioxyz Hadoop 133 2014-03-06 10:26
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
ITPUB-饶
扫描二维码联系客服
关于• 广告服务• 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心

关注公众号获取更多技术文章