ITPub博客

【摘要】银行自助分析系统用户多，数据量大，系统速度还要求飞快。与此同时，后台数据仓库却已经负担了太多的应用，无法为大量连接提供高性能查询。点击银行业多用户大数据量自助分析提速方案，去乾学院看看集算器如何解决这个矛盾，为自助分析提速! 本文是真实案例，预计阅读时间 3 分钟。方案文件下载

【摘要】银行数据查询业务中，经常会碰到数据量很大的清单报表。由于用户输入的查询条件可能很宽泛，因此会从数据库中查出几百上千万甚至过亿行的记录，比如银行流水记录；为了避免内存溢出，一般都会使用关系型数据库的分页机制来做，但结果往往也不尽人意；有些情况下甚至底层采用了非关系型数据库，这更会加剧了问题的复杂度。针对这类场景，集算器能够给你一份满意的答卷！银行业大数据量清单报表案例【下载附件】银行业大数据

【摘要】随着信息化建设的快速发展，可视化大屏需求越来越普及，然而大屏的背后意味着多样性数据源，传统的解决办法总是需要如下一些工作：ETL 工具先抽取清洗 DW 中的数据；文本文件需导入数据库中赋予计算能力后才能计算；开发对接第三方 API 数据接口，需写很多代码才能构造统一对外服务平台接口；这样的模式终将让开发和维护成本变得高昂！银行可视化大屏后端计算案例【下载附件】银行可视化大屏后端计算案例

伴随信息时代的发展，新技术、新框架、新语言层出不穷，解决问题的技术视角其实从来没有改变。所有应用都需要和存储系统相关联，无论存储是 SQL 还是 NOSQL 的。业务系统和数据库遵循不同的开发规范，为了让开发更容易，有一类框架专门帮助解决从应用层到数据库的转换，著名的 ORM 类框架就是其中之一。实际上数据中台技术主要面临的挑战主要也是计算服务和各种数据存储如何便捷的统一起来，并通过服务化 API

【摘要】        Mongodb 的 BSON 存储格式灵活多样，有助于 MongoDB 的入门学习。有集算器 SPL 语言支持后，Mongodb 能实现像数据 SQL 那样的方便查询。若想了解更多，请前往乾学院：合并 mongodb 子文档!     &nbsp

【摘要】手机银行查流水、网上银行查收入、游戏账号查明细、手机营业厅查充值记录等等都属于海量账户查询场景。此场景的特点是：访问人数特别多，全量数据超大，而且不能让用户等待！点击海量账户大并发实时查询解决方案，去乾学院看看在大并发海量账户查询场景中，如何用集算器实现秒级的查询速度!方案文件下载

当单台数据库的数据量太大而影响性能时，可以把数据拆分到多台服务器上，每台服务器只承担部分计算压力，再由SPL合并计算结果。特殊地，数据可拆分为历史数据库和当前实时数据库，由SPL实现T+0计算。下面用几个典型例子来说明分库汇总的用法。过滤订单表orders分库存储在两个Oracle数据库中，数据源名分别为orclA、orclB，请过滤出金额amount大于等于10000的订单。SPL代码如下：排序

在上一篇《Birt 如何实现不规则月份统计》中，我们讲解了如何帮助 Birt 制作这种报表的详细过程，在本文中我们再继续讨论几个类似的制作难题，并把说明集中在如何编写集算器 SPL 脚本上，不再赘述如何在 Birt 中引入 SPL 的步骤了。1.        组内跨行计算组内跨行计算是指在计算一行中某个计算列的值时，需要引用到

概述应用结构减轻代码量多样性数据源热切换文件计算常规计算使用SQL大文本分段并行Excel数据库并行取数困难计算批量查找数据库切换库外存储过程多数据库混算其他数据源NoSql/Hadoopjson解析与生成xml解析与生成http访问与发布点击下载

SPL是一种面向结构化数据计算的程序设计语言，集算器是SPL语言的java实现，采用网格式编程形式提供了编码和调试的IDE环境，语法比Java和SQL更为简单易懂，开发效率更高。本文将从集算器的实现原理出发列举一些可以提升计算性能的小技巧。1数据类型1.1 数值        SPL里的数值类型有Integer、Lon

和传统的程序设计语言不同，SPL中集合的应用非常普遍，实际上最常见的序列和序表等本质上都是集合，可以对它们进行真正的集合运算，从而大幅度提高开发效率和代码性能。因此，在使用SPL时，需要特别重视对集合概念的理解。1 SPL中的序列与集合SPL中，序列如同整数、字符串一样是非常常用的基本数据类型，也能进行相应的基本运算。从集合角度出发，SPL提供了两个集合A、B的交、并、联、差等基本运算符：A^B，

1.      常规分组当分组聚合的结果集不大时，可以使用groups。例如有学生成绩表存储在集文件中，表结构如下： 现在计算每个学生的总分数：A1：成绩表的数据装入内存。A2：按照studentID字段分组，计算总分。 如果成绩表数据太大，无法装入内存，则可以用游标方式：A1：得到成绩表的游标。A2：按照studentID字段

【摘要】有了固定报表工具之后，这类格式复杂、指标参数任意组合的需求并不难实现，只是原始数据量一大，查询就会非常慢，用户体验变的极差，当多并发请求时，甚至还会对正常业务产生影响！而集算器面对这类问题，却是一把好刀！赶快去乾学院看个究竟吧！SAP 系统大数据量资产负债表的性能优化案例【下载附件】SAP 系统大数据量资产负债表的性能优化案例

来源：https://groups.google.com/forum/#!topic/mongodb-user/Rjv6lyUCe1s【摘要】        MongoDB 对于 TopN 功能的需求使用其 shell 脚本来实现有些复杂，而集算器 SPL 语言，则因其离散性、灵活性恰好能弥补 MongoDB 实现方面

本节在数据量比较大的情况下，对比esproc和python。数据量：7000多条万记录，5个字段分别是orderid，clientid，sellerid，amount，date。总大小超过3G。1. 筛选8月份的交易记录esprocA2：f.cursor()根据文件f创建游标并返回，数据扫描完将自动关闭游标。@t, f中第一行记录作为字段名,不使用本选项时默认使用_1，_2,…作为字段名. @c,