-
编辑 删除
Mysql5.6.22源代码安装
Mysql5.6.22源代码安装1 环境介绍操作系统：redhat6.4 64bit2 安装软件采用源码安装方式1. mysql安装包：mysql-5.6.22.tar.gzMysql 下载地址：http://dev.mysql.com/downloads/2. Cmake安装包mysql5.5以后是通过cmake来编译的wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gzcmake-2.8.4.tar....
-
编辑 删除
Mysql增量备份
Mysql增量备份本文适合于没有启动复制功能的mysql,如果启动了复制,可能不需要采取这种备份策略或者需要修改相关参数.每个人的备份策略都可能不同,所以请根据实际情况修改,做到举一反三,不要照搬照抄,可能会造成不必要的损失.希望你明白这个脚本要干什么工作! 脚本描述每7天备份一次所有数据,每天备份binlo...
-
编辑 删除
2013年中国数据库大会PPT
干货来了！！2013年中国数据库大会刚刚闭幕，PPT已经提供下载。分享给各位。大数据革命.pdfMPP NewSQL 数据库集群支撑企业超大规模数据仓库案例介绍.pdfBig Data in Action – 企业如何运用微软 Big Data 的技术具体规划并落实运行.pdf小米hadoop/hbase微实践.pdfHBase近期的发展及实...
-
编辑 删除
Oracle中过程/函数返回结果集
引用：http://blog.csdn.net/feiliu010/article/details/1538822Oracle中函数/过程返回结果集的几种方式: 以函数return为例,存储过程只需改为out参数即可,在oracle 10g测试通过. (1) 返回游标: return的类型为:SYS_REFCURSOR &n...
-
编辑 删除
ETL通用解决方案---oracle+存储过程 实现
方案理念--四化理念数据规格化处理自动化信息集中化操作人性化架构通过视图实现来至两个不同数据库的表的结构完全一致, 在结构完全相同的两个表之间进行数据同步, 问题变得相当简单. 同步代码如下. ETL---初始同步delete fr...
-
编辑 删除
使用Oracle内建功能构建ETL流程
经常听到客户抱怨一些企业级的数据仓库软件许可证过于昂贵；也曾经见到过一次性的Access到 Oracle的数据迁移就使用了DataStage（这是真的！在发现 Server版本不能连接Access后，还专门购买了DataStage for ODBC --__--!）。实际上一些简单的ETL流程完全可以使用Oracle内建的功能完成。本文的主旨在于说明这一思想，文中代码...
-
编辑 删除
用户清理及用户数据迁移
1、用户数据清理登录用户，并执行以下SQL语句，将查询的结果放到Command窗口批量执行清理动作。SELECT object_name, object_type, CASE WHEN object_type = 'TABLE' THEN &nb...
-
编辑 删除
不适合大数据的10件事情
许多企业领导人开始接纳大数据处理并期待神奇和奇迹，但却发现大数据带来新的复杂性——且从中获益所需要付出的努力要预计中的多得多。每个组织机构都对大数据应用寄予厚望，期待它可以解答长期存在的业务问题，让他们在市场集中镇南关，在产品、服务交付中更具竞争力。这种对于大数据获益的预期很难实现，除非给予足够的...
-
编辑 删除
公司使用大数据的基本情况
时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生产环境实践大数据，并有成功的用例/产品；24.5%的公司已经做了足够的了解，开发准备就绪；基本不了解的只占3000+用户的13.5%...
-
编辑 删除
大数据技术现状
大数据技术在开发者或从业人员的应用中逐步走向成熟，这些成熟的技术在开发人员的探索中得到了初步的稳定发展，公司的使用便是对这些技术的肯定。包括开发语言，数据分析语言、数据库等在内的大数据工具，究竟哪个更适合自己的业务，相信开发者们都有自己的评判标准。在众多的开发语言中，大数据平台开发者们尤为青睐Java...
-
编辑 删除
大数据未来发展
许多对大数据有需求的公司并不一定具备强大的研发团队，在大数据处理过程中往往遭遇众多挑战。那么，在面临这些挑战时，开发者最迫切需要的是什么？为了解决公司中的实际问题，39.28%的人希望拥有更犀利和通用的计算框架；37.88%的人希望能拥有更好的数据挖掘算法；21.59%的人则对保障性更高的运维有了更多的期盼。良好的...
-
编辑 删除
数据库设计三大范式
转载地址：http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html 数据库设计三大范式为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必须满足一定的范式。...
-
编辑 删除
Linux crontab 命令格式与详细例子 （R1）
基本格式 :* * * * * command分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/local/etc/rc....
-
编辑 删除
linux watch命令
linux的watch命令非常有用，它可以定期的执行命令，并且满屏显示执行结果，全屏以外的内容可能就看不到了。Usage: watch [-dhntv] [--differences[=cumulative]] [--help] [--interval=<n>] [--no-title] [--version] <command> -d, --differences[=cumulative] hi...
-
编辑 删除
数据仓库ETL流程规范（R2）
项目组希望我出一个ETL的规范，凭着自己的感觉和经验总结了一些步骤，我还会不断改进。本ETL流程规范试图建立一个通用的ETL流程开发规范，针对不同项目组的实际情况，可自行进行逐步的完善和修改。本流程应该是在需求分析阶段结束后实施。ETL流程：可以把ETL分为五个阶段，按照开发的顺序分：&n...
-
编辑 删除
ETL概述
转载地址：http://czmmiao.iteye.com/blog/1835953ETL概述ETL，Extraction- Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数 据仓库的重要环节。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一...
-
编辑 删除
ETL架构师面试题
1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Exc...
-
编辑 删除
Powercenter体系结构和主要组件介绍
Powercenter体系结构和主要组件介绍 服务端组件Informatica Service：PowerCenter服务引擎Integration Service：数据抽取、转换、装载服务引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Reposi...
-
编辑 删除
在windows平台安装Informatica PowerCenter
安装前需要准备的文件pc86_win32_x86.zip -- Powercenter Server端安装文件pc86_client_win32_x86.zip -- Powercenter Client端安装文件10g_win32_client.zip -- Oracle 客户端安装程序 Server端安装过程1. 运行安装目录根目录下的install.bat文件...
-
编辑 删除
Informatica Powercenter 介绍
1.1 Informatica Powercenter 的概念 Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要...
