ITPub博客

关于 “数据挖掘” 的内容如下:

  • SAP IQ DML操作产生表锁(不是行锁),同时DML同一个表默认直接报错

    Sybase IQ 16 测试时候发现, DML 操作会对整个表实施 lock动作,其他DML不能操作, 直接报错。 在一个session中执行 : insert into   dmreg.dm_test_one  values(66,getdate(),'test6');  不提交。在另外一个session中DML操作同一个表, 直接报错 :  [sybase@ssp502-or ~]$ dbisql...

    tolywang 数据挖掘 13411 2016-05-06 18:26:25
  • ETL工具----Kettle快速入门

    ETL、数据仓库、建仓

    wolfreturn 数据挖掘 25986 2016-01-27 17:21:46
  • KPI模型数据补正问题及方法

    KPI模型数据补正问题及方法 前言:很多情况下,kpi模型都会碰到一个问题,不能适用于所有的kpi,因为有些kpi在维度的不同级别的时候,合计值有可能不同,所以不能通过简单下钻来查看维度下一级别的数据情况。 以医院的出院病人数为例,大多情况下,医院的总病人数各个科室的病人数之和。因为某个病人可能...

    newknight 数据挖掘 14912 2015-06-03 10:43:42
  • Kettle通过Webservice获取天气信息

    Kettle通过Webservice获取天气信息 需求:通过kettle工具,通过webservice获取天气信息,写成xml格式文件。  思路:Kettle可通过两种选择获取webservice结果,一种是web服务查询(web service lookup),还一种是利用HTTP POST,本文介绍的是使用web服务查询的方式,数据来源为http://www.webxml.com.c...

    newknight 数据挖掘 27785 2015-01-12 14:01:48
  • SuccezBI 笔记系列(一)

    SuccezBI 笔记系列(一)

    icyflyer 数据挖掘 6334 2014-12-02 15:11:24
  • DW2.0下一代数据仓库架构_第8章 数据模型和DW2.0(读书笔记)

    版权声明:该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。智能线路图    数据模型是DW2.0必备组成部分。数据模型在很多方面都扮演着通往DW2.0其他部分的只能线路图的角色。在DW2.0中建立线路图有很多种原因,但最...

    thamsyangsw 数据挖掘 5521 2014-11-03 17:38:35
  • DW2.0下一代数据仓库架构_第17章 成本验证和DW2.0(读书笔记)

    版权声明:该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。    毫无疑问,DW2.0的基础设施需要很大的成本。建立它、运维它都需要成本,所使用的设备也有成本。然而,大部分公司都是反对较大支出。会很自然的被问到“...

    thamsyangsw 数据挖掘 3750 2014-10-25 22:35:22
  • DW2.0下一代数据仓库架构_第16章 迁移(读书笔记)

    版权声明:该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。    DW2.0是一个巨大且复杂的环境,需要利用大量的资源并经过很长的时间建立它。DW2.0环境更像一座城市而不是一座房子。建一座房子需要相对较短的时间,在...

    thamsyangsw 数据挖掘 3450 2014-10-24 22:24:32
  • DW2.0下一代数据仓库架构_第15章 DW2.0和性能(读书笔记)

    版权声明:该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,                 欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。           &nb...

    thamsyangsw 数据挖掘 3780 2014-10-24 17:24:39
  • BIEE-修改bisystemuser密码

    First change the password for the user BISystemUser in the realm.

    newknight 数据挖掘 6121 2014-08-12 16:23:15
  • vertica使用vsql导数据

    vertica用vsql导出数据要导出的表:dbadmin=> select count(*) from test.t1; count -------  9998(1 row)dbadmin=>  select * from test.t1;  id  |   name   | b ------+----------+---    1 | mingshuo |     2 | mingshuo | ...

    水逸冰 数据挖掘 5 2018-06-29 13:51:04
  • vertica数据库copy命令实现数据加载

    vertica数据加载创建外部数据文本:[dbadmin@verticatest ~]$ for((i=1;i<10000;i++))> do> echo "$i,mingshuo">>0629.txt> done修改不满足格式数据sed -i 's/9998/ms/' 0629.txt[dbadmin@verticatest ~]$ tail 0629.txt 9990,mingshuo9991,mingshuo9992,mingshuo9993,mingshuo9994,mingshuo9995,mingshuo...

    水逸冰 数据挖掘 3 2018-06-29 10:36:28
  • 联想为新能源汽车行业打开智能制造之门

    从实践中走出来的联想更有发言权,其具备全球部署超大规模集群的运维管理能力、PB级数据与复杂业务实践的丰富经验,能够为客户提供从底层平台到上层应用的端到端全面解决方案。

    zhangcun330 数据挖掘 30 2018-06-27 17:56:55
  • 遇见山河 预见空间大数据移动互联时代!

    6月15日,由成都山河空间信息技术有限公司(SUNVO)举办的“空间大数据+移动互联”峰会——山河空间·掌图专场在WGDC2018年舞台上首次惊艳亮相。

    格伯纳 数据挖掘 90 2018-06-16 22:05:46
  • vertica角色管理

    vertica数据库有5个预定义角色:publicpseudosuperuserdbadmindbdusersysmonitor预定义角色不能drop或者rename,public特殊一点,可以对public赋予回收role,但是不能对其他4个预定义role赋予回收其他role;dbadmin role有如下权限:Create or drop usersCreate or drop schemasCreate or drop rolesGrant role...

    水逸冰 数据挖掘 1 2018-06-11 14:56:40
  • vertica数据库-创建用户,schmea以及权限管理

    创建数据库管理用户:创建用户dbadmin=> create user mingadmin;CREATE USER赋予roledbadmin=> grant dbduser,dbadmin,pseudosuperuser to mingadmin;GRANT ROLEnotedbduser:运行非dba用户访问database designer使用命令行函数dbadmin:创建删除用户,角色以及模式;查询系...

    水逸冰 数据挖掘 33 2018-06-09 21:44:43
  • 在linux6上安装vertica列式数据库

    数据库用户和权限dbadmin—Administrative userverticadba—Group for DBA users集群节点之间的dbadmin用户要配置互信。集群节点之间用户名和密码要相同。Dbadmin用户的shell环境设置为/bin/bash,因为vertica所有的shell脚本要在bash shell环境下执行。提供读写执行权限对...

    水逸冰 数据挖掘 0 2018-06-06 21:28:40
  • 真实客户案例:当前企业数据集成面临哪些挑战

    什么是数据集成?最简单的应用场景就是:一个数据源,一个数据目的地,数据目的地可以是个数据仓库,把关系型数据库的数据同步到数据仓库里,就形成了一次数据集成。

    hugotu 数据挖掘 0 2018-05-22 14:06:21
  • [Greenplum] 扩容segment

    这两篇文章结合起来看!http://www.dbdream.com.cn/2016/03/02/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E6%89%A9%E5%AE%B9-%E5%A2%9E%E5%8A%A0segment/https://blog.csdn.net/aabc012/article/details/45543025

    小亮520cl 数据挖掘 1 2018-04-24 13:46:31
  • python3.6 递归输出文件夹下的所有文件、子文件

    版本:python3.6 需求:递归输出文件夹下的所有文件、子文件

    smilesu 数据挖掘 60 2018-04-18 13:31:10
  • python3.6 输出某文件夹下匹配的所有文件名

    版本:python3.6实现需求:输出某个文件夹下,包含'XX'、'ZZ'的所有文件名称需求来源:由于下载代码需要做安装下,需要把package下所有的pkg文件都汇总,一个个把名字复制出来太麻烦,因此,便用该脚本,只要输入路径,便可把所有满足条件的数据进行直接输出。

    smilesu 数据挖掘 62 2018-04-18 13:26:43
  • python3.6 查找匹配excel文件内容

    版本:python3.6 实现功能:查找test文件夹下文件内容包含李剛'的所有excel,并打印输出

    smilesu 数据挖掘 96 2018-04-18 13:17:15
  • 建模分析师与算法工程师的主要区别

    大家晚上好,我是新来的实习生小模君,前几天小智老师给我科普了数据挖掘的基础知识,颇有收获,于是就趁小天今天有事休假冒个泡跟大家分享一番。数据挖掘,英文名叫Data mining,一般是指从大型数据库中将隐藏的预测信息抽取出来的过程,而更为精确的解释则是“从数据中挖掘知识”。这个概念乍眼一看有点懵,毕...

    WSH_AI 数据挖掘 0 2018-04-12 17:35:23
  • 大数据分析: SAP Sybase IQ功能特性及适用场景

    SAP Sybase IQ 功能特性: 海量存储(PB级)高压缩比 (5~100倍) 极速装载(Load:34T/h) 高性能查询丰富接口线性扩展(集群)列式计算极简运维SAP Sybase IQ应用场景:  自助分析分布式数据集市数据仓库 报表查询(DSS)极速Load -“世界记录保持者”l按列并行装载,每小时高...

    tolywang 数据挖掘 151 2018-03-24 16:40:53
  • 数仓心得(一):管理和发展

    做数仓也有三年了,经历过业务和平台的零到一,一到二,一把鼻涕一把泪。把这些经历总结下,主要从三个方面去总结:一、数仓管理和发展;二、数仓逻辑架构和维度建模;三、平台选型。先从数仓管理和发展说起,因为好的数仓要有明确的发展方向和高执行力的管理维护规则,没有一套强硬可执行管理模式,后面两个也是枉费...

    orclwujian 数据挖掘 0 2018-02-28 19:32:19
  • Hive中添加自定义函数(UDF)方法及实践

    环境介绍:CentOS7+hive-1.1.0-cdh5.7.0+Maven3.3.91、下载源码    hive-1.1.0-cdh5.7.0-src.tar.gz    http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz 2、解压源码   tar -zxvf hive-1.1.0-cdh5.7.0-src.tar.gz -C /home/hadoop/  &n...

    loveheping 数据挖掘 92 2018-01-12 15:54:00
  • Hive中配置与编写自定义UDF函数

    环境介绍:CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.91、创建工程   打开IntelliJ IDEA     File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart2、配置  2.1、增加内容如下:   在工程中找到pom...

    loveheping 数据挖掘 61 2018-01-12 15:50:52
  • Hive的三种Join方式

    转载:https://www.cnblogs.com/raymoc/p/5323824.htmlCommon/Shuffle/Reduce JoinMap Join1) 大小表连接:如果一张表的数据很大,另外一张表很少(<1000行),那么我们可以将数据量少的那张表放到内存里面,在map端做join。Hive支持Map Join,用法如下select /*+ MAPJOIN(time_dim...

    loveheping 数据挖掘 31 2018-01-11 15:21:25
  • Hive参数配置调优

    Hive参数配置调优  hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务,其中至少有一些是可以并行执行的。确定最佳的mapper个数和reducer个数取决于多个变量,例如输入的数据量大小以及对这些数据执行的操作类型等。  保持平衡性是很有必要...

    loveheping 数据挖掘 30 2018-01-11 15:10:55
  • Hive中原理及使用MAP JOIN

    Hive中简介及使用MAP JOIN一、MAP JOIN图二、概述所有表中只有一张小表,那可在最大的表通过Mapper的时候将小表完全放到内存中,Hive可以在map端执行连接过程可以和内存的小表逐一匹配,从而省略掉常规连接所需的reduce过程。即使对于很小的数据集,这个优化也明显地要快于常规的连接操作。其不仅减少了reduce过程...

    loveheping 数据挖掘 30 2018-01-11 15:08:40
点击加载更多

成为大咖

联系我们
itpub
help@itpub.net
010-59127154
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心