PIG安装配置及案例应用
1.各组件版本 Linux ISO:CentOS-6.0-i386-bin-DVD.iso 32位 JDK version:"1.6.0_25-ea"Hadoop software version:hadoop-0.20.205.0.tar.gz Hbase version:hbase-0.90.5Pig version:pig-0.9.2.tar.gz ...
白鳝老师受邀亲临ITPUB社区与网友交流DBA思想,感悟Oracle数据本质
本期活动特邀oracle数据库专家白鳝老师与大家共同交流DBA思想,感悟Oracle数据本质。 专家介绍:白鳝 Oracle ACE。从事IT工作20年,曾供职...
Hbase迎接电信TB级大数据洗礼之热点网站功能实践
在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验,随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络,流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大...
Hadoop之Hbase数据库完全分布模式安装guide【贺岁版】
贺岁版:大家可能都比较奇怪这个帖子为什么要叫贺岁版呢?我在写这个帖子的时候大约时间已经过了一周,前面已经有casliyang sunev_yu 大师们出版了非常经典的安装手册,我也是受益者。在借鉴前辈和大师们...
如何理解Hadoop-Hbase原理与应用小结
1 我们常说HBase是“数据即日志”的数据库,它是怎样修改和删除数据的?和Oracle这类传统的RDBMS有什么区别? 答:首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里...
设计一套分布式数据库冗余方案之阿烂大学 走向全球篇-3部曲
引言:时光飞逝一眨眼“阿烂大学”已经一周岁了,在这一年中阿烂大学进步的很快,从只招收本地学员到走向全球才仅仅一年时间,现在校园中可以看到来自五湖四海的同学,有利比亚的部族首领、有阿拉伯的酋长、英国的贵...
设计一套查询中间件服务方案之阿烂大学 普天同庆篇-2部曲
引言:看过《阿烂大学 扬我国威篇》http://space.itpub.net/26686207/viewspace-746692 的同学们,应该对阿烂大学的数据库架构模型比较熟悉了吧,下面的故事发生在开学之后,所有的老师都在使用这前所未...
设计一套分布式数据库系统+加载中间件服务方案之阿烂大学 扬我国威篇-1部曲
引言:我们首先设计一个系统应用的场景,这样对理解系统的内涵和功能都有帮助。故事的开始: 在一个风高月黑的夜晚,中南海议政厅里正在进行一场改变中国未来的谈判,中国政府在危难之际准...
Linux CentOS-6.0 安装 Eclipse-SDK-4.2.1
Dataguru_id:leonarding 时间:2012年10月8日 1.安装环境简介 物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统 虚拟机:Product VMware? Workstation Version 7.0.0 build-2...
Eclipse配置hadoop插件步骤【Linux centos6.0】
今天刚做了Eclipse配置hadoop插件,感觉使用eclipse做Map/Reduce开发非常方便和顺手了,不用再死机繁琐的hadoop DFS 命令,也不用在记住有多少层的目录结构,使用eclipse工具可以一目了然的显示在你面前,下面写了一...
Itpub名人堂第27期:eygle kamus yangtingkun做客PUB名人堂 解析数据库行业发展
大家好,今天是ITPUB11周年的生日,在这里首先向众位不断支持我们的puber说一声谢谢。今天我们采访的是大家非常熟悉的老朋友,Eygle,Kamus,Yangtingkun三位技术牛人。本次在PUB站庆之际特地采访三位老大,从他们...
搞懂oracle字符集
昨天拜读了 这篇文章 了解了 OS字符集 client 字符集 数据库字符集 关系 ,很有实用意义,是一篇了解字符集工作原理的好文章,分享之出处:搞...
Hadoop HDFS分布式文件系统 常用命令汇总
引言:我们维护hadoop系统的时候,必不可少需要对HDFS分布式文件系统做操作,例如拷贝一个文件/目录,查看HDFS文件系统目录下的内容,删除HDFS文件系统中的内容(文件/目录),还有HDFS管理信息,单独启动停止 namen...
Hadoop Map Reduce 漫谈
引言:hadoop是目前行业中应用最广的分布式存储系统,它可以用廉价很多台烂机器搭建起大规模的集群系统,通常处理上TB级的数据那是小case,著名应用有google pagerank 计算,腾讯QQ空间日志分析处理,英特尔hadoop云...
[原创] 远程数据库容灾系统之三级data gurad架构
问题:对于1台10T的数据库,设计一个具有可行性的远程容灾系统(接近实时假设网络带宽足够)下面是 design 流程图 和 文字描述! 分别根据距离的远近设计出,同机房 同城 &n...
[原创] 分布式数据库系统+数据备份与恢复
问题:.假如有一个分布式数据库系统,包含10台数据库,每台数据库上存放有10T的数据,数据通过sql*loader定时批量加载到分布式环境中的每台数据库中,在允许增加硬件的前提下,设计一套数据备份和恢复方案,让系统d...
Oracle 【直接加载】全方位解析与性能优化
引言:直接加载是提高数据效率的好方法,尤其在OLAP系统中使用的非常普遍,本篇根据自己的探索和谭怀远大师的经验总结的,在此感谢帮助我的朋友,不了峰,sun海,谭怀远,Elvis1.比较sql*loader使用conventional传统...
[话题讨论]Exadata技术浅析 Exadata到底可以作什么?
先给答案在附引题 1. 能否作出山寨Exadata?答:基于中国国情,基于中国人的伟大智慧,只有想不到的没有做不到的。从现在oracle发布的Exadata硬件架构来看是完全可以模仿的,就类似于现在的品牌机和DIY机,整...
【呕心沥血版】 完全分布式模式hadoop集群安装与配置
终于成功了感谢天 感谢地 感谢大老虎 感谢海兄sun 折磨了我好几天 完全分布式模式下hadoop安装与配置终于安装好了,下面我把步骤一一写出来一、实验环境1.安装环境简介物理笔记本:i5 2.2...
SQL优化思路&结果集重用优化、分区索引优化测试
引言:这是我在学习谭老师SQL优化课程后的总结和实验,这里我主要通过sql_trace和10046事件来分析了sql资源消耗的情况,包含了 “结果集重用优化和分区索引优化”两部分,希望通过这些给一些初次涉及优化的DBA一些...