利用历史数据做商业预测的全过程
使用历史数据进行商业预测,首先我们要知道什么东西是能够被预测的,举几个例子:银行放贷款时,希望预测出当前贷款人是否可能违约?保险公司希望预测出客户的理赔风险,从而更灵活的制定保费,高风险高收费,低风险低收费银行有很多种金融产品,希望预测出哪些用户会购买哪些产品,更精准的进行销售活动工业生产中,企业希望预测设备的运行状态,减少非计划停车商场超市希望预测出产品的销量,可以精准备货,降低库存互联网金融信
结构化数据上的选出运算
选出是指在集合中,根据指定条件获取成员。选出与定位计算很相似,不过定位关心的是成员在集合中的位置,而选出关心的是成员记录的详细信息。比如选出入职超过 10 年的员工收入,查询销售额超过一万的客户名称等等。如何简单快捷的实现选出?这里将为你全程剖析,并提供 esProc SPL 示例代码。
批量随机键值的查询优化
一、 问题描述键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 O(log2N), 10 亿行数据大概只要比较 30 几次(10 亿约等于 2^30),在现代计算机上是个毫秒级别的事务。不过,如果需要查询的键值很多,比如多达几千甚至几万的时候,如果每次都独立查找,那读取和比
结构化数据中的存在判断问题
从数据表中选出数据时,有时候需要判断成员在某些条件下是否存在,这些条件可能是从其他的数据表中查询的。例如分数是成绩表的字段,怎样从学生表中选出各科分数都高于 80 分的学生?如何简便快捷的处理结构化数据中的存在判断问题,这里为你全程解析,并提供 esProc 示例代码。1. 外键映射的存在性检测在两个表中,根据外键映射的存在性查找记录。
按指定基准对齐的分组运算
在分组时经常会要求结果集必须按基准集合的次序出现,这种对齐分组在日常统计中是很常见的。我们还能把对齐分组推广成更一般的枚举分组。如何简便快捷的处理对齐分组,这里为你全程解析,并提供 esProc 示例代码。
非常规聚合问题举例
聚合运算是指对数据进行计算,返回聚合结果。聚合运算经常伴随着分组运算,除了常见的求和、最大值、最小值、计数等聚合运算,还有一些逻辑运算等等。如何简便快捷的处理聚合问题,这里为你全程解析,并提供 esProc 示例代码。
结构化数据中的从属判断问题
从数据表中选出数据时,有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息,从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题,这里为你全程解析,并提供 esProc 示例代码。1. 集合包含性检测在一个表中,根据集合的包含性判断查找记录。
适合时间序列数据的计算脚本
时间序列数据在这里指按时间排序的日常业务数据。对时间序列数据进行计算时,不仅涉及季度、月份、工作日、周末等常规计算,还经常遇到较为复杂的有序运算,这就要求脚本语言应具备相应的计算能力。一般用于处理时间序列数据的计算脚本有SQL、Python Pandas、esProc,下面就让我们深入了解这些脚本,看看它们的能力差异。
有序集合上的定位计算
在数据计算时,除了每条记录本身,经常也会关心有序集合中与位置相关的计算。例如:编号为 752084 的订单在销售表中的第几行?2019 年上证指数收盘价最高的是第几个交易日?如何简单快捷的实现定位?这里将为你全程剖析,并提供 esProc SPL 示例代码。
esProc 的 SQL 应用方案
esProc 的 SQL 功能支持文件计算、性能优化等独特功能,本文将总结桌面 IDE、命令行等不同环境下 SQL 的用法,以及常用文件格式、特殊分隔符等多种应用方案
结构化数据中的从属判断问题
从数据表中选出数据时,有时需要判断成员是否从属于某一个集合。例如从房价表中选出重要城市的房价信息,从销售表中选出 VIP 客户的销售记录等等。如何简便快捷的处理结构化数据中的从属判断问题,这里为你全程解析,并提供 esProc 示例代码。
报表工具选型对比系列 - 大报表
有些报表查询出的数据行数可达千万甚至上亿,这类报表通常被叫做大报表,大多数情况下都是些清单明细数据报表,也有少量分组报表。针对大报表,如果像常规报表一样,将数据一次性全取再交给前端呈现是不可行的。一是等待时间太长,用户体验差;二是很可能导致内存溢出造成应用崩溃。那么,目前的报表产品是如何解决这一问题的呢?本文将调研并测试几款报表产品的大报表解决方案,还是针对这三款产品:润乾报表、帆软报表、Smar
报表工具对比选型系列—多样性数据源支持度
本次仍然评测这几款主流的报表工具:润乾报表、帆软报表、Smartbi、永洪 BI、亿信。之前在多源关联分片报表中验证了各个报表工具的多数据源关联功能,这些产品都能支持多数据源,但对不同类型数据源的支持程度并不一样。目前常用的关系型数据库基本上都提供 jdbc 接口,所有报表工具都支持,这里就不做详细说明,下面主要看下几种数据源的支持情况:1、 文件数据源,如 Excel、txt、csv 等。2、
结构化数据上用序号访问成员的问题
序号访问是指通过序号(索引下标)来访问有序集合的成员。序号访问除了按单个序号访问集合成员,还有按多个序号同时取多个成员的需求。除此以外,还有用倒数的序号访问成员,按固定跨度访问成员等等。如何简单快捷的实现这些序号访问需求?这里将为你全程剖析,并提供 esProc SPL 示例代码。
有序集合间的对位运算
两个有序集合之间可能进行一一对应的计算,比如两个集合如何比较大小,怎样判断集合是否相等?如何简便快捷的处理集合间的对位运算,这里为你全程解析,并提供 esProc 示例代码。
esProc 利用剪贴板强化 Excel 计算
遇到Excel难以实现的复杂或特殊运算时,可先用剪贴板将数据复制到esProc,利用esProc强大的计算能力完成,再用剪贴板返回Excel。剪贴板方式比传统的add-ins方式部署更简单,操作更顺滑,开发时不影响剪贴板正常使用,且支持多个源片区和结果片区。
报表工具对比选型系列 - 容量及相关性能
报表上的计算比较复杂,常常是内存计算,报表工具能支持的容量也就是个重要的技术指标。我们当然希望报表占用的内存尽量少,这样同样内存空间可以容纳更大的报表(更多的单元格),也能支持更大的并发数量。本文将对比报表工具的容量及相关性能,看同样的内存(可用 jvm)空间下,谁能支持更多的单元格数,以及同样规模报表的计算性能。产品还是三款:润乾报表 V2018、FineReport V10.0、smartbi
报表工具对比选型系列用例——过程计算
我们知道,报表呈现的数据常常并不是直接从数据库(源)取出来的数据,而还要进行一些运算,报表工具通常也会提供一定的运算能力(如过滤、分组等)以应对这种需求。但是,情况复杂时,报表数据集上的运算可能要多个步骤才能完成,这时候就要考查报表工具对过程式计算的支持程度了。用例说明统计要求列出指定时段的大客户。所谓大客户,定义为销售额占前一半的客户,也就是把客户销售额从大到小排序后,前面若干个客户的合计销售额
数据挖掘模型的衰减是什么意思?为什么要经常要重新建模?
数据挖掘模型建好后,我们通常会关注建模时的准确率查全率等指标,但是常常会忽略模型另一个重要指标:模型的衰减程度,也就是模型在实际应用中预测能力的变化(一般都会越用越差)。为什么会发生模型衰减呢?我们知道数据挖掘的本质是发现过去事物发生的历史规律然后对未来进行预测,因此模型能够准确预测的前提就是,要预测的未来必须是历史规律的延续。但是在几乎所有的商业场景中,市场是在不断变化的,数据也在不断变化的,也
深度学习是怎么回事?有什么用?
如今,提到人工智能,几乎无人不谈深度学习,似乎不用深度学习就不好意思谈人工智能。今天我们就用几分钟的时间来讲一下深度学习到底是什么,有什么用。首先深度学习并不等于人工智能,它只是一种算法,和普通的机器学习算法一样,是解决问题的一种方法。真要区分起来,人工智能、机器学习和深度学习,三者大概是下图这种关系。人工智能是一个很大的概念,机器学习是其中的一个子集,而深度学习又是机器学习的一个子集。其次,深度