-
hadoop常用文件命令
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /user/cl/temp * * 上传文件 * 上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下 * $ hadoop dfs -put /home/cl/local.txt /user/cl/temp * * 下载文件 * 下载hdfs中/user/cl/temp目
-
mysql数据库乱码之保存越南文乱码解决方法
我自己测试一下，很多字符变成了 ‘？'。数据库连接已经是使用了 utf8 字符集：复制代码 代码如下:define("MYSQL_ENCODE", "UTF8");mysql_query('SET NAMES '.MYSQL_ENCODE,$conn) or die('字符集设置错误'.mysql_error());搞了大半小时，没有搞定。insert 的数据都是仍然乱码，突然想，是不是字段不能保存这些越南文。我看一下数据库字符集，默认都是 gbk，这个对中文是没有问题的，一碰到越南文，就乱码了。于是，我将可能用到越南文的字段的字符集修改为 utf8，校对修改为：utf8_unicode_
-
[hadoop实战]安装并运行hadoop
1、配置hadoop-env.sh（不同情况路径不同，我的情况如下） /Users/JuneMAC/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh export JAVA_HOME=/Library/Java/Home export HADOOP_CONF_DIR=/Users/JuneMAC/hadoop/hadoop-2.2.0/etc/hadoop export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk” 注：最后一个export的由来： 如果不配置HADOOP_OPTS，在通过bin/start-all.sh启动Hadoop时，会爆出下面的这个错误信息： java[12113:1603] Unable t
-
[hadoop实战]配置mac os 自身环境
http://www.linuxidc.com/Linux/2012-10/71900p2.htm 这个主要是配置ssh环境。先在terminal里面输入 ssh localhost 会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。 不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先，输入 ssh-keygen -t dsa -P '' -
-
[hadoop实战]配置java（mac os X）
想看下是否系统已经安装了java（之前安装过xcode的command line版本），键入"java -version" java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) 估计以前装其他（xcode?）的时候一起装了吧。。。 打开vim写了一段helloworld程序，并保存为helloworld.java，如下： package helloworld; public class helloworld { public stati
-
hdfs集群的安装——伪分布式模式
实验条件： CentOS 5.9，hadoop-1.2.1.tar.gz 官方指导：http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html 查询已装jdk： #rpm -qa | grep jdk #rpm -qa | grep gcj 根据上面查出结果，删除已装jdk： #rpm -e --nodeps jdk-xxx gcj-xxx 安装jdk: #rpm -ivh jdk-7u45-linux-x64.rpm 设置环境变量: #vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_45 export JAVA_BIN=/usr/java/jdk1.7.0_45/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:
-
hbase0.96.0-hadoop2 mapreduce本地调试
1 下载hbase0.96.0源码 2 mvn package -Dmaven.test.skip.exec=true 3 mvn eclipse:eclipse 4 导入到eclipse 到此存在一个问题，就是hbase编译的是2.1版本，导致出现rpc连接错误，需要替换所在工程的hbase和hadoop的jar包。 5 工程中添加hadoop配置文件，和hbase-site.xml，否则会出现直接连localhost:port的情况 可以正常调试了。
-
hbase0.96.0-hadoop2 安装
1 下载hbase0.96.0-hadoop2，解压路径/home/hadoop/hbase-0.96.0-hadoop2 2 修改环境变量 参考hadoop安装blog 3 修改配置文件 ~/hbase-0.96.0-hadoop2/hbase-env.sh a 指定jdk export JAVA_HOME=/usr/java/jdk1.7.0_45 b 指定由hbase来管理zookeeper, export HBASE_MANAGES_ZK=true 4 将~/hbase-0.96.0-hadoop2/lib下面的hadoop-*.jar都替换成2.2.0版本的jar 修改~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh 在for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do if [
-
hadoop2.2.0 安装
1 部署环境 os ip name rhel5-i386 16.158.49.200 hadoop.master rhel5-i386 16.158.49.201 hadoop.node1 rhel5-i386 16.158.49.202 hadoop.node2 2 修改/etc/hosts(每台)，可以通过机器名互通 hadoop.master: 127.0.0.1 localhost.localdomain localhost ::1
-
【杭州C 培训】C程序访问hadoop运行时遇到的各种问题以及解决方案
问题1：当编译通过后，运行时，会出现： [html] hadoop@springwater-Aspire-4743:/usr/local/hadoop/test$ ./test Exception in thread "main" java.io.IOException: Mkdirs failed to create /my at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:378) at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:364) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:555)
-
Storm安装部署步骤
Storm入门教程 第三章 Storm安装部署步骤 原文地址： http://blog.linezing.com/2013/01/how-to-install-and-deploy-storm-cluster?spm=0.0.0.0.i1C8Xc http://www.tbdata.org/archives/2118 http://blog.sina.com.cn/s/blog_5ca749810101c2dy.html http://blog.csdn.net/derekjiang/article/details/9039977 本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含两类节点：主控节点
-
变频器实际应用中的应用误区
误区1、使用变频器都能节电 一些文献宣称变频调速器是节电控制产品，给人的感觉是只要使用变频调速器都能节电。 实际上，变频调速器之所以能够节电，是因为其能对电动机进行调速。如果说变频调速器是节电控制产品的话，那么所有的调速设备也都可以说是节电控制产品。变频调速器只不过比其它调速设备效率和功率因数略高罢了。 变频调速器能否实现节电，是由其负载的调速特性决定的。对于离心风机、离心水泵这类负载，转矩与转速的平方成正比，功率与转速的立方成正比。只要原来采用阀门控制流量，且不是满负荷
-
hadoop1.2.1编译eclipse插件（方法一）
我按原作者的方法做到最后成功了，但是中间遇到了很多问题，这里在开头先说一下。 一、1.2.1的jdk版本必须是1.7,1.6的不行，至少我尝试的openJDK1.6没有成功。 二、编译插件之前环境变量配置要仔细，作者讲的在build.xml下的添加那三行代码，在第一组proper后添加都行的。 三、关于作者在最后讲登录不成功，以及添加插件后出现问题，我这里给大家提供一个方法，在eclipse有改动后，再启动时 用 eclipse -clean的方法可以解决相关问题。 四、配置的时候启动hadoop与否我认为并没影响。 同样，也可以尝试这样的编译方式，我也推荐这种，
-
YARN动摇了MapReduce对Hadoop的掌控
Hadoop被认为是运行在HDFS(分布式文件系统)上的MapReduce。通过YARN，Hadoop 2.0扩大了潜在应用的数量。... 云资讯 相关文章推荐： 奥巴马医保网站故障修 李嘉诚套现近13亿 和记黄埔抛港两处豪宅 [转载]C++中typename关键字的使用方法和注意事项 eBay称沿海跨境电商活跃 新兴市场机会多 国外玩家恶搞：如果游戏世界变成现实 掘金跨年理财品长短结合更划算 海洋正以3亿年来最快的速度酸化 法制晚报：夫妻吵架别把垃圾倒在广场上 凡已走过 必留下痕迹 福州家教网 - 福州数学家教 本频道文章均来源于网络，如有版权问题请联系我们，
-
J2EE中你必须了解的13种技术规范
良好的技术规范将带来很大的便利，下面介绍13种J2EE的技术规范。 1)JDBC(Java Database Connectivity): JDBC API为访问不同的数据库提供了一种统一的途径，象ODBC一样，JDBC对开发者屏蔽了一些细节问题，另外，JDCB对数据库的访问也具有平台无关性。 2)JNDI(Java Name and Directory Interface): JNDI API被用于执行名字和目录服务。它提供了一致的模型来
-
HBase集群配置安装
HBase是一个开源的高可靠性、高性能、可伸缩、并非建立在关系模型基础上的分布式数据库，用以存储大规模结构化数据，是非关系型（NoSQL）数据库，由Chang等人基于Google的Bigtable开发而成的。HBase的目标是存储并处理大型的数据，更具体来说是只需要使用普通的硬件配置即可处理成千上万的行和列组成的大数据。 转载请注明出处： http://hanlaiming.freetzi.com/?p=156 一、实验环境 1，Hadoop 版本 1.2.1，全分布安装 一个主节点minglaihan，两个子节点node1和node2
-
详解《我叫MT》第4期-第5期
详解《我叫MT》第5期 副本队伍篇 超神方砖为何直接被秒？满级的强力劣人为何只造成1点伤害？献爱心的大奶为何顾此失彼，奶不到人？队伍的灵魂MT为何孤独战斗到最后而阵亡？一次次战斗失败的背后又隐藏着什么？是BOSS的残酷，还是GM的变态？是角色的渺小，还是菜鸟的悲哀？究竟谁对谁错？请关注《西冷详解MT第5期--副本队伍篇》。 骚年，看看旁边的大神如何以5打6吧，其实这不是幻觉，也不是奇迹，你，也可以！看完本篇攻略，你就不是以前的你了~~ 1.必
-
回收站图标显示不对不实时更新怎么处理
回收站的图标显示不对，不能实时更新一般都是我们自己修改图标引起的，下面小编就来告诉大家如何解决这个问题 方法/步骤 1 如下图所示，小编的电脑回收站里面没有任何文件，但是回收站的图标显示是还有文件的，下面小编就来分享如何更改这个问题 2 在回收站图标上面点击鼠标右键，然后在打开的右键菜单中选择“属性” 3 点击属性后，就打开如下图所示的“回收站 属性”对话框，在对话框中点击回收站的图标来修改当前状态的图标
-
网站优化之网站导出链接实用4大指南
网站导出链接建设实用性指南： 1、了解互联网的本质 这样的工作是被大多站长忽略的，也许你会觉得我做seo工作的，要了解这个东西干么?这样的认识是错误的，互联网的本质是链接与共享，与我们的 seo工作是紧密相连接的，我们的工作就是围绕这样的大环境进行的。互联网之间的信息是可以相互传播的，正因为这样的条件，才有利于我们seo工作的进行。做晓风彩票网站前，我系统的明确了网站之间通过链接进行编织而成的，所以我不太介意我们的彩票网站的导出链接，这样是符合用户体验和搜索引擎的规则的。 2、分析导出
-
java里的文件操作控制
java里的文件操作控制一.获得控制台用户输入的信息/** *//**获得控制台用户输入的信息 * @return * @throws IOException */ public String getInputMessage() throws IOException...{ System.out.println("请输入您的命令∶"); byte buffer[]=new byte[1024]; &
