ITPub博客

多维分析提供拖拽、旋转、切片、钻取等等人机交互操作，必须有秒级的响应速度。而这些操作对应的明细数据量非常巨大，如果在明细数据的基础上直接计算，速度会很慢，等待时间过长，是用户无法接受的。         图1：基于明细的OLAP响应时间过长 为了保证秒级甚至毫秒级的响应速度，一些OLAP产品事先将几千万甚至上

Excel 中遇到较复杂的运算，数据分析师常会用 add-ins 辅助解决。本文考察了一些常见的 add-ins，从部署难度、开发难度、流畅程度等方面进行深度对比，并着重考察了数据计算能力，esProc 在这些 add-ins 中的表现相对出色。

什么是有序计算       使用过 SQL 的朋友对计算字段都不会陌生，比如 firstname+lastname，year(birthday)，这些计算字段属于行内计算，不管表达式里用到的是单个字段，还是多个字段，使用的数据都在当前记录行内。有行内计算，对应的也就有跨行计算，如：第一名和第二名的差距；从 1 月到当前月份累计的销售额。按

本文分析大文件计算的实现原理，如过滤、聚合计算、添加计算列、排序、分组聚合、topN 等，以及利用并行计算来提高计算速度，并用 esProc SPL 举例说明如何用简洁的脚本实现大文件计算。

在数据分析业务中，经常要把Excel文件数据结构化解析以后再进行计算或导入关系数据库，但许多Excel文件的格式并不规整，而且文件结构也多种多样，导致编程进行结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。本文将介绍如何进行各种格式的 Excel 文件结构化解析，如普通行式、复杂表头、自由格式、交叉表、主子表、大文件等，并提供用 esProc SPL 编写的代码示例

本文介绍如何将经各种渠道得来的结构化数据自动生成各种格式的 Excel 文件，如单纯导出数据、导出大量数据、指定显示属性、固定行列填充、动态条件显示属性、分组带明细及统计、交叉统计表等，并用 esProc SPL 举例实现

本文介绍用 esProc SPL 实现合并资产负债表，包括不同时段合并和不同部门合并

大多数情况下，我们用SQL（存储过程）就可以完成数据库计算，但如果遇到SQL不擅长的某些复杂运算，就只能用其他程序语言把数据读出库外，然后在数据库外完成计算，这样的程序语言经常是以简单脚本的形式出现，我们在这里称为SQL的后计算脚本。SQL不擅长的运算主要包括复杂的集合计算、有序计算、关联计算、多步骤计算等。SQL集合化不够彻底，没有显式的集合数据类型，导致计算过程中产生的集合难以复用，比如分组后

Pandas 是 python 的一个数据分析包，是基于 NumPy 的一种数据分析工具，其中纳入了大量库和一些标准的数据模型，提供了快速便捷地处理数据的函数和方法，是高效地操作结构化数据集所需的工具，也是使 Python 成为强大而高效的数据分析环境的重要因素之一。但是相信经常使用 Pandas 的同学在处理结构化数据运算时也会遇到一些麻烦，这些问题要么使得问题解决很复杂（代码难写），要么使得运

本文介绍小文件与大文件在进行数据去重时的几种处理办法，比如按整行或关键列去除重复数据或留下重复数据，并用 esProc SPL 举例实现

在数据处理业务中，有时需要比较两个文本文件内容有哪些相同或不同的数据，本文将介绍文本文件比对的几种情况，如整行比对、关键列比对，同时又分小文件、大文件比对，并提供用 esProc SPL 编写的代码示例。esProc 是专业的数据计算引擎，SPL 中有一套完善的集合运算领域的函数库，做文件比对很方便，写出的代码非常简洁。 1.   小文件比对1.1  整行比

本文介绍直接用 SQL 查询文件数据的各种情况，并用 esProc SPL 举例实现

我们在《利用历史数据做商业预测的全过程》(以下简称前文) 一文中介绍了如何使用历史数据进行商业预测的过程。不同的商业需求，还会有些各自的特殊性，本文将介绍如何使用预测技术来提升营销成功率。1. 准备历史数据在营销场景中，要预测的目标是客户的购买行为，需要搜集一些可能会影响购买行为的信息字段，比如客户的年龄、学历、工作、收入、家庭结构、生活习惯、购物偏好，以及产品的特点、促销力度等信息，收集到的相关

使用历史数据进行商业预测，首先我们要知道什么东西是能够被预测的，举几个例子：银行放贷款时，希望预测出当前贷款人是否可能违约？保险公司希望预测出客户的理赔风险，从而更灵活的制定保费，高风险高收费，低风险低收费银行有很多种金融产品，希望预测出哪些用户会购买哪些产品，更精准的进行销售活动工业生产中，企业希望预测设备的运行状态，减少非计划停车商场超市希望预测出产品的销量，可以精准备货，降低库存互联网金融信

 选出是指在集合中，根据指定条件获取成员。选出与定位计算很相似，不过定位关心的是成员在集合中的位置，而选出关心的是成员记录的详细信息。比如选出入职超过 10 年的员工收入，查询销售额超过一万的客户名称等等。如何简单快捷的实现选出？这里将为你全程剖析，并提供 esProc SPL 示例代码。

一、   问题描述键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 O(log2N)， 10 亿行数据大概只要比较 30 几次（10 亿约等于 2^30），在现代计算机上是个毫秒级别的事务。不过，如果需要查询的键值很多，比如多达几千甚至几万的时候，如果每次都独立查找，那读取和比

从数据表中选出数据时，有时候需要判断成员在某些条件下是否存在，这些条件可能是从其他的数据表中查询的。例如分数是成绩表的字段，怎样从学生表中选出各科分数都高于 80 分的学生？如何简便快捷的处理结构化数据中的存在判断问题，这里为你全程解析，并提供 esProc 示例代码。1. 外键映射的存在性检测在两个表中，根据外键映射的存在性查找记录。

在分组时经常会要求结果集必须按基准集合的次序出现，这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。如何简便快捷的处理对齐分组，这里为你全程解析，并提供 esProc 示例代码。

 聚合运算是指对数据进行计算，返回聚合结果。聚合运算经常伴随着分组运算，除了常见的求和、最大值、最小值、计数等聚合运算，还有一些逻辑运算等等。如何简便快捷的处理聚合问题，这里为你全程解析，并提供 esProc 示例代码。

 从数据表中选出数据时，有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息，从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题，这里为你全程解析，并提供 esProc 示例代码。1. 集合包含性检测在一个表中，根据集合的包含性判断查找记录。