-
编辑 删除
在Ubuntu中安装MySQL
安装MySQL是个老话题，我安装MySQL服务器已不下百次了，为了博客文章结构的连贯性，还是再写一篇做为环境基础，同时也给自己一个备忘。目录 MySQL在Windows中安装 MySQL在Linux Ubuntu中安装 通过命令行客户端访问MySQL 修改MySQL服务器的配置  ...
-
编辑 删除
Hadoop的namenode无法启动问题（50070无法访问，50030可以访问）
[java] view plaincopy2013-08-31 10:29:31,241 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.FileNotFoundException: /opt/data/hadoop/hdfs/name/current/VERSION ...
-
编辑 删除
Storm在实际应用的架构图
-
编辑 删除
storm ui显示supervisor个数与实际不符的解决
很奇怪的问题，具体现象就是启动了多个supervisor，单在ui上只显示一个（也有可能是多个supervisor中的某几个看上去被“合并”了），当我kill掉其中一个时，另一个就出现了。重启集群也没有用，想到可能是zookeeper中有冲突，删除了/storm中的所有，一启动，发现还是这样。检查了配置，也没有不对的地方。接着检查日...
-
编辑 删除
Storm系列之最基本的例子
Storm系列之最基本的例子前言： 本文会从如何写一个Storm的topology开始，来对Storm实现的细节进行阐述。避免干巴巴的讲理论。1. 建立Maven项目我们用Maven来管理项目，方便lib依赖的引用和版本控制。建立最基本的pom.xml如下...
-
编辑 删除
高效搭建Storm完全分布式集群
环境说明1、硬件说明 使用三台PC机，角色分配如下 2、软件说明 约定所有软件都放在/usr/local/路径下 准备工作 1、安装jdk 2、配置SSH Storm集群安装 安装流程图 1、安装Zookeeper集群 2、安装Storm依赖 zeromq、jzmq、python 2.1、安装zeromq tar...
-
编辑 删除
在Ubuntu 12.04 为 Eclipse 添加快速启动项
Ubuntu 12.04使用了Unity界面，在桌面左侧侧多了一个启动器栏。我们可以将自己常用的软件在启动器栏放一个图标，实现快速地启动。启动器栏的每一个图标实际上都对应了/usr/share/applications目录下的一个文件。为了给eclipse创建启动栏图标，我们可以在/usr/share/applications目录下创建文件eclipse.desktop（文件...
-
编辑 删除
单机环境下安装配置Storm
Storm是一个分布式的、高容错的实时计算系统，在实时性要求比较强的应用场景下，可以用它来处理海量数据。我们尝试着搭建Storm平台，来实现实时计算。下面，我们在CentOS 6.4上安装配置Storm系统。安装配置安装配置过程，按照如下步骤进行：1、安装配置sunjdk下载sunjdk，并安装Java运行环境...
-
编辑 删除
快速搭建 Hadoop环境
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，下面讲解下我在搭建Hadoop 环境过程。Hadoop 测试环境共4台测试机，1台namenode 3台datanode OS版本：RHEL 5.5 X86_64 Hadoop：0.20.203.0 ...
-
编辑 删除
Hbase安装配置（含分布式ZooKeeper）
环境说明系统为CentOS 6.0192.168.255.128 =》 server01192.168.255.130 =》 server02192.168.255.131 =》 server03/etc/hosts文件中有这些IP和域名的映射关系配置server01在hadoop用户下可以通过密钥无需密码访问server02和server031. 安装配置zookeeper在三台服务器上执行...
-
编辑 删除
用jstl截取字符串
jstl以前在jsp页面截取字符串时都是用Java表达式，感觉在jsp页面用多了Java表达式不是很好（那时主要是不知道jstl标签怎么去截取字符串，所以就只能用Java表达式了）。今天在网上找了些相关资料，原来jstl标签是可以截取字符串的，主要有两种方法：一、用jstl原有的标签库中方法（fn函数）...
-
编辑 删除
sqoop一个导入的例了（mysql)
登陆mysql[hadoop@master root]$ mysql -u root -p -h 192.168.168.20create databasemysql> create database hadoopguide;Query OK, 1 row affected (0.06 sec)操作权限mysql> grant all privileges on hadoopguide.* to '%'@'192.168.168.20';Query OK, 0 rows affected (0.17 sec)mysql> grant all privileg...
-
编辑 删除
hadoop搭建与eclipse开发环境设置
1. Windows下eclipse开发环境配置1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。 需要注意的是插件版本（及后面开发导入的所有jar包...
-
编辑 删除
oracle行列转换，多行转一行，用逗号分割
--行列转换SELECT * FROM it_suremainproblems WHERE mainapplyno='ITWX201409230092'SELECT a.mainapplyno, wm_concat (a.proname) new_resultFROM it_suremainproblems a WHERE mainapplyno='ITWX201409230092'group by a.mainapplyno--end--多行转一行SELECT &nbs...
-
编辑 删除
oracle 批量更新&&批量插入用法
--批量更新declare cursor c1 is SELECT orderid,orderno FROM baoxiao_apply WHERE length(orderid)<=5;beginfor r1 in c1 LOOP UPDATE orderpayment SET baoxiao_orderno=r1.orderNO WHERE --baoxiao_orderno IS NULL AND ...
-
编辑 删除
oracle 外部表用法
--创建数据目录 create or replace directory dat_dir as '/home/oracle/external_tb/data/'; b.创建外部表SQL>create table ex_tb1 --创建外部表 (ename,job,sal,dname) --表列描述，注意未指定数据类型 organization external  ...
-
编辑 删除
oracle flashback找到误删，UPDATE的数据
select * from pc_sentcar as of timestamp to_Date('2014-11-28 08:40:00', 'yyyy-mm-dd hh24:mi:ss') WHERE pc_no='PC201411270010'
-
编辑 删除
Linux下Tomcat的安装配置
一.下载安装对应的jdk,并配置Java环境。官网下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html下载将jdk加压后放到/usr/local目录下： [root@master ~]#chmod 755 jdk-6u5-linux-x64.bin[root@master ~]# ./jdk-6u5-linux-x64.bin[roo...
-
编辑 删除
Hive UDF开发
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：package com.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class helloUDF extends UDF ...
-
编辑 删除
mysql 导入CSV数据
MYSQL LOAD DATA INFILE命令可以把csv平面文件中的数据导入到数据库中。linux下：LOAD DATA INFILE '/home/test/dump/ip_location.csv' INTO TABLE ip_location CHARACTER SET utf8 FIELDS TERMINATED BY ',' E...
