-
编辑 删除
mapreduce的二次排序 SecondarySort
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使用是job.setPartitionerClass(Partit...
-
编辑 删除
hadoop中使用lzo的压缩
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的...
-
编辑 删除
在Hadoop中使用MRUnit进行单元测试
在Hadoop中使用MRUnit进行单元测试 本文地址：博客园 逖靖寒 http://gpcuster.cnblogs.com前提1. 了解JUnit4.x的使用。2. 了解Mock的概念在单元测试中的应用。3. 了解Hadoop中MapReduce的编程模型。如果您对Junit和Mock不了解，可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in...
-
编辑 删除
Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 ...
-
编辑 删除
Hadoop FS Shell命令大全
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录...
-
编辑 删除
hive sql语法解读
一、 创建表 在官方的wiki里，example是这样的：Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ......
-
编辑 删除
Hive远程模式安装（MySQL管理元数据）
试验环境为Win7上用VMware搭建三个虚拟机环境，系统为Red Hat Enterprise 5。 三个节点的的IP、hostname分别为：192.168.1.220 biao.oracle.com biao192.168.1.221 biao1.oracle.com biao1192.168.1.222 &nbs...
-
编辑 删除
Hadoop Pig学习笔记(一) 各种SQL在PIG中实现
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1317084 欢迎加入Hadoop超级群: 180941958 本人新浪微博:http://weibo.com/guoyunsky 我这里以Mysql 5.1.x为例,Pig的版本是0.8...
-
编辑 删除
使用Java快速入门RPC框架 - Thrift
Apache Thrift是一个facebook简历的RPC框架，现在是一个Apache的顶级项目。Thrift允许通过一个跨语言的定义文件的方式定义数据类型和服务接口，这个文件作为RPC客户端和服务器通信的标准，你也可以去看看Thrift的白皮书了解更多信息。根据Apache Thrift的官方站点的描述，Thrift是一个：software framework, for ...
-
编辑 删除
Hadoop调度器原理解析
Map Task分配过程：对于目前的Hadoop任务调度设计来看，分配过程是一个“拉”的过程，即每一个TaskTracker节点主动向JobTracker节点请求作业的任务，而不是当有新作业的时候，JobTracker节点主动给TaskTracker节点分配任务。Cluster运行期，每个TT都要向JT汇报状态信息，这包括TT自身的状态属性、运行在TT上每个task...
-
编辑 删除
MapReduce三种join方式
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基...
-
编辑 删除
MyBatis一对多和多对一
在学习MyBatis3的过程中，文档上面一直在强调一个id的东西！在做这个实验的时候，也因为没有理解清楚id含义而导致一对多的“多”中也只有一条数据。id和result的唯一不同是id表示的结果将是当比较对象实例时用到的标识属性。这帮助来改进整体表现，特别是缓存和嵌入结果映射。所以不同数据的id应该唯一区别，...
-
编辑 删除
利用jstack查看程序资源占用
1. 通过jps查看程序PID2. ps -eL -o pid,%cpu,lwp|grep -i PID 获取该PID下的线程及CPU占用情况3. jstack PID 查看各线程运行状态4. 将十六位进制的nid转换为十进制。然后进行对比，获得资源占用高的线程并查看状态java.lang.Thread.State线程状态： 死锁，Deadlo...
-
编辑 删除
文件下载(只需要简单的四步)，Java中都通用
我们就直接切入主题啦，文件下载只需要四步：1.设置文件ContentType类型2.设置文件头3.通过response获取ServletOutputStream对象(out)4.写到输出流(out)中 下载代码：这里我使用的是SpringMVC，不过它在这里的唯一用途就是用来获取ServletContext对象，这个对象的用途，下面实例中有说...
-
编辑 删除
oracle中的exists 和not exists 用法详解
有两个简单例子，以说明 “exists”和“in”的效率问题1) select * from T1 where exists(select 1 from T2 where T1.a=T2.a) ; T1数据量小而T2数据量非常大时，T1<<T2 时，1) 的查询效率高。2) select * from T1 where T1.a ...
-
编辑 删除
javaee加密部署，tomcat使用自己的classloader解密【正解】
【更新】将加密，解密，loader都做成了jar，配有说明文件，相信看了之后就可以使用了。注意，这个只适合没有spring的，因为spring有自己的classloader。地址：http://url.cn/Qs0n7W【起因】公司需要对一个web项目进行加密之后出售，大家都知道的，class很好反编译，所以需要对class文件...
-
编辑 删除
用友华表Cell产生柱状图表
用友华表Cell产生柱状图表 function fn_DoResult(result) { if(result=="") { alert("操作失败"); return; } var xmlDom = n...
-
编辑 删除
华表基础（转）
1 基础： (1) 在页面上引入华表对象： 代码 <OBJECT id=CellWeb1 height=220 width=700 classid=clsid:3F166327-8030-4881-8BD2-EA25350E574A VIEWASTEXT> <PARAM NAME="_Version" VALUE="65536"> &n...
-
编辑 删除
dhtmlxtree中文API说明书
Java代码 dhtmlXTree是一个功能比较强大的树控件，基本上能满足大部分常规需求，比较好用。 当然，在使用过程中还是发现一点点问题。下面是我整理的一些里面常用函数的说明（只有简单的说明，如果要看详细的说明，自己查看...
-
编辑 删除
dhtmlXTree异步加载
dhtmlXTree异步加载<script> tree=new dhtmlXTreeObject("treeboxbox_tree","100%","100%",0);tree.setSkin('dhx_skyblue'); tree.setImagePath(ERP_PATH+"/js/dhtmlxtree/imgs/cmp_dep/");tree.enableDragAndDrop(true);tree.enableTreeLines(true);tree.setXMLAutoLoading("getAddressProvinceC...
