-
编辑 删除
不适合大数据的10件事情
许多企业领导人开始接纳大数据处理并期待神奇和奇迹，但却发现大数据带来新的复杂性——且从中获益所需要付出的努力要预计中的多得多。每个组织机构都对大数据应用寄予厚望，期待它可以解答长期存在的业务问题，让他们在市场集中镇南关，在产品、服务交付中更具竞争力。这种对于大数据获益的预期很难实现，除非给予足够的...
-
编辑 删除
公司使用大数据的基本情况
时至今日，无论你是来自互联网行业、通信行业，还是金融行业、服务业或是零售业，相信都不会对大数据感到陌生。据调查报告显示，32.5%的公司正在搭建大数据平台，处于测试阶段；29.5%的公司已经在生产环境实践大数据，并有成功的用例/产品；24.5%的公司已经做了足够的了解，开发准备就绪；基本不了解的只占3000+用户的13.5%...
-
编辑 删除
大数据技术现状
大数据技术在开发者或从业人员的应用中逐步走向成熟，这些成熟的技术在开发人员的探索中得到了初步的稳定发展，公司的使用便是对这些技术的肯定。包括开发语言，数据分析语言、数据库等在内的大数据工具，究竟哪个更适合自己的业务，相信开发者们都有自己的评判标准。在众多的开发语言中，大数据平台开发者们尤为青睐Java...
-
编辑 删除
大数据未来发展
许多对大数据有需求的公司并不一定具备强大的研发团队，在大数据处理过程中往往遭遇众多挑战。那么，在面临这些挑战时，开发者最迫切需要的是什么？为了解决公司中的实际问题，39.28%的人希望拥有更犀利和通用的计算框架；37.88%的人希望能拥有更好的数据挖掘算法；21.59%的人则对保障性更高的运维有了更多的期盼。良好的...
-
编辑 删除
数据库设计三大范式
转载地址：http://www.cnblogs.com/linjiqin/archive/2012/04/01/2428695.html 数据库设计三大范式为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库，必须满足一定的范式。...
-
编辑 删除
Linux crontab 命令格式与详细例子 （R1）
基本格式 :* * * * * command分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令 crontab文件的一些例子： 30 21 * * * /usr/local/etc/rc....
-
编辑 删除
linux watch命令
linux的watch命令非常有用，它可以定期的执行命令，并且满屏显示执行结果，全屏以外的内容可能就看不到了。Usage: watch [-dhntv] [--differences[=cumulative]] [--help] [--interval=<n>] [--no-title] [--version] <command> -d, --differences[=cumulative] hi...
-
编辑 删除
数据仓库ETL流程规范（R2）
项目组希望我出一个ETL的规范，凭着自己的感觉和经验总结了一些步骤，我还会不断改进。本ETL流程规范试图建立一个通用的ETL流程开发规范，针对不同项目组的实际情况，可自行进行逐步的完善和修改。本流程应该是在需求分析阶段结束后实施。ETL流程：可以把ETL分为五个阶段，按照开发的顺序分：&n...
-
编辑 删除
ETL概述
转载地址：http://czmmiao.iteye.com/blog/1835953ETL概述ETL，Extraction- Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数 据仓库的重要环节。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一...
-
编辑 删除
ETL架构师面试题
1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Exc...
-
编辑 删除
Powercenter体系结构和主要组件介绍
Powercenter体系结构和主要组件介绍 服务端组件Informatica Service：PowerCenter服务引擎Integration Service：数据抽取、转换、装载服务引擎Repository Service：知识库Service，管理ETL过程中产生的元数据Reposi...
-
编辑 删除
在windows平台安装Informatica PowerCenter
安装前需要准备的文件pc86_win32_x86.zip -- Powercenter Server端安装文件pc86_client_win32_x86.zip -- Powercenter Client端安装文件10g_win32_client.zip -- Oracle 客户端安装程序 Server端安装过程1. 运行安装目录根目录下的install.bat文件...
-
编辑 删除
Informatica Powercenter 介绍
1.1 Informatica Powercenter 的概念 Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从而帮助企业做出快速、正确的决策。此产品为满足企业级要...
-
编辑 删除
ETL优化 （R2）
转载地址：http://blog.csdn.net/jadeite/article/details/1837426 在讨论ETL优化之前我们应该首先讨论的是当前程序的性能。首先要定义ETL过程的基线标准。在建立了基线标准的基础上我们再来讨论该如何对已有过程进行优化。基线标准也应该包括标准情况下网络传输速度，硬盘读取速度等等的硬件指标。在此之上测量...
-
编辑 删除
Datastage入门+实例(易理解)
转自http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/ 传统的数据整合方式需要大量的手工编码，而采用 IBM WebSphere DataStage 进行数据整合可以大大的减少手工编码的数量，而且更加容易维护。数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的...
-
编辑 删除
数据仓库 ODS简介
转载地址：http://baike.baidu.com/link?url=dO6vvJ89eVg8xuMnHtWjIPDgXauYwZR3H7FZ0zV6P9Rh7N93Xa-hwiyfSHw1htlu#2概念ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。...
-
编辑 删除
Hive-0.14.0版本，本地独立模式，MySQL作为元数据库
系统Red hat linux 6.4Hadoop版本2.5.2Hive版本0.14.0Mysql数据库版本5.6.15 ...
-
编辑 删除
Hive安装（本地独立模式，MySql为元数据库）
部署环境：系统Red hat linux 6.4Hadoop版本1.2.1Hive版本0.11.0Mysql数据库版本5.6.15...
-
编辑 删除
厦门锐特信息技术有限公司
厦门锐特信息技术有限公司
-
编辑 删除
数据库性能SQL监控脚本
--1、消耗时间最多的前10条SQL语句；SELECT round(elapsed_time / 1000 , 2) "Elapsed Time (ms)", executions, round(elapsed_time / executions / 1000, 2) "Elapsed Time per Exec (ms)", parsing_schema_name "username", &...
