ITPub博客

性能优化教案—查找点击下载 PDF

用户登录 Client 端1. 登录Client 端访问 Server 端，在集算器中，菜单工具－＞docker 登陆，登出。IP：对应多台物理机时，IP 为入口物理机 IP端口：配置 Docker_server 时标签对应的端口号用户名和密码：要求和 IP 对应2．Client 端调用 Server 端在介绍 Server 端配置 docker_user.xml 用户管理时提到标签中的三个目录

1 模块一：Docker 和集算器结合1.1 Docker 和集算器结合概述将集算器的群集和 docker 结合可以进行高效的运算、合理的资源分配与管理。结合以后结构分成两部分： Server 端和 Client 端； Docker Server 端目前只能在 Linux 中使用。1.2 Docker 端口我们需要了解的是 Docker 管理涉及到三个端口：通信端口、映射外部端口及映射内部端口。其

问题概要  在日常工作中时常会遇到将数据表的行列进行转换的问题。SQL 提供了静态转置的功能 pivot 和 unpivot，但适用范围很受限，要用 SQL 实现一些比较复杂的转置功能常常会遇到语句过于复杂的问题，而且缺少一个标准的解决思路。而集算器的 SPL 语言，则因其语法的灵活和函数库的丰富，可以完美地弥补 SQL 在这方面的不足。  下面则通过实例详细阐述一下转置功能的实现。基础篇一、行转

什么是轻量级？抛开技术术语，从效果上看就是为了实现操作目的，使用更轻便、更省时的方法；那么什么是高性能呢？最直接的说法就是比常用方法更加高效、更快。下面就来介绍润乾提供的这一套轻量级、高性能的多维分析套件。 轻量级的准确含义，是相对于重量级框架而言的一种程序设计模式。轻量级的优点在于对容器没有依赖性，易于配置，更加通用，启动时间较短，并能充分减少开发复杂度；而高性能，则是指相比于常用方法

SPL中的集合都是有序的，可以用序号来引用成员，灵活运用序号可以使运算更为简捷高效。1 成员访问SPL的某些函数中可以使用序号或序号数列作为参数，最简单的应用是直接用序号访问成员，这和一般编程语言中的数组类似。A2与A3从序列中获取指定位置的成员，位置序号是从1开始的，结果如下：  A4与A5修改了序列中的某个成员，用分步执行的方式，可以看到A1中序列的变化如下：使用A.m(i

在数据分析计算中，日期时间类数据是比较特殊的类型，这里我们就来研究一下如何在SPL中使用日期时间类数据。1日期时间数据的转换和生成日期时间类数据，通常会用字符串来输入或显示。在使用集算器时，可以点击Tool>Option，在选项配置的Environment页面中，设定日期时间类型数据所使用的默认格式，如：使用SPL时，日期时间类型的数据会按照默认的格式显示出来，如：  运行后查看A

对数据库进行批量更新时，使用update函数要比execute函数性能更好。比如，source和target是两个不同的数据源，callrecordA是source中的物理表，有1万条记录，callrecordB是target中的物理表，无记录，现在需要将callrecordA中的数据同步到callrecordB中。当使用execute函数进行批量更新，可以发现性能不够理想，代码如下：上述算法实际

数独是一种老少皆宜的数学游戏，大家用零散的时间就可以玩上几局数独，有助于人们缓解压力，培养观察力和耐力，锻炼大脑。数独游戏的规则也很简单，只需一支铅笔就能游戏，如：在9*9的格子中，已经填入了一些数，你所要做的就是把其余的格子中全部填入1~9的数，使得每一横行，每一竖行，以及粗线所包围的9个九宫格中，1~9这些数字全部只出现一次。其实，如果用集算器的话，任何一局数独谜题都能随手解决。首先，把数独问

【摘要】日常生活中，我们会遇到各种各样的数据，小到公司通讯录，大到互联网用户行为分析。在进行数据分析处理的过程中，查询是必不可少的环节，如何更加高效地进行数据查询。点击：性能优化技巧 - 查询，来乾学院一探究竟！SPL为用户提供了强大的索引机制以及针对不同场景中各对象的查询函数，善加运用，可以显著提高查询性能。1 键值查找1.1 序表我们先建立一个份“通话记录”的模拟数据，通过

【摘要】一般的报表工具或 BI 系统都是怎么实现大清单报表的呢？•数据全部读出，直接报表呈现•游标方式逐步读入呈现•使用数据库的分页机制按页读出传统模式实现问题：1）全量读模式，全部读出耗时太长，用户体验恶劣；全内存计算的报表可能溢出。2）游标读模式，只能向后翻页。3）分页读模式，初始响应慢，翻页慢；可能出现数据不一致。最佳解决方案: 零编码，引入流式计算实现大清单报表的呈现！去乾学院看集算器是怎

排号键是SPL独特的数据类型，适合替代多层次、各层不连续的键值，比如身份证号、合同编号、产品编号、组织机构代码等。排号键定位速度快，常用于优化内存索引查询和外键关联计算。内存索引查询cardNormal.btx是集文件格式的身份证信息表，数据量一百万条，字段为：cardNo（身份证，主键）,name（姓名）,gender（性别）,province（省份）,email（电子邮件）,mobile（移动

事实表和维表进行关联计算时，需要对维表进行频繁的随机访问，因此维表要尽量放在内存中，才能提高关联计算的性能。如果维表较大，单机内存放不下，就应该考虑用集群方式，将维表分段读入多台机器的内存。下面举例说明集群维表的用法。假设有2个计算节点，分别为127.0.0.1:8281、127.0.0.1:8282。执行如下脚本，可将产品表加载到节点机内存中：A2:语句fork可在多个节点机上并行执行任务，其中

【摘要】        SQL 虽然可以对集合中的记录进行循环计算, 但在循环计算过程中利用中间变量、同时计算多个值、前后记录访问、减少循环次数等方面差强人意。而集算器 SPL 则要直观许多，可以按自然思维习惯写出运算。这里对 SQL 和集算器 SPL 在循环计算方面进行了对比，如果需要了解更多，请前往乾学院：SQL

【摘要】        这一节我们对 SQL 和集算器 SPL 在序列值查找、分栏、动态行、动态列、指定序排序等方面进行了对比，如果需要了解更多，请前往乾学院：SQL 难点解决：特殊示例!1、    列出中文人口和英文人口均达到 1% 的国家代码MySQL8:select countryc

【摘要】        排序计算是一个非常消耗资源的操作，特别是对于大数据排序，如果内存无法装下数据，常规的做法就需要借助外存，不过因此也会增加对数据的读写操作，而读写操作通常又会比排序操作更消耗资源。        让我们一起去乾学院看个

1.添加Age、Fullname字段esproc：  A4：我们用T表示序表。T.derive（）表示增加字段。这里用age(日期)计算出年龄，作为Age字段。用NAME,SURNAME得到Fullname。A5：计算运算时间（interval：计算时间间隔。@ms表示以毫秒为单位）python：import timeimport pandas as pdimport datetimes

1. 增加记录：在第二的位置增加一条记录esproc  A4：添加一条记录（“:”前表示字段值，“:”后表示字段），其中2表示第二条记录的位置A5：计算运算时间（interval()：计算时间间隔。@ms表示以毫秒为单位）python：import timeimport pandas as pdimport datetimeimport numpy as npimport randoms

把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook等第三方类库来实现，通常都要硬编码，如果碰到格式复杂的表格，解析工作量还会成倍增加，Java没有表格对象，总要利用集合加实体类去实现，导致代码冗长、不通用。集算器的 SPL 是

【摘要】主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时，关联计算的性能将急剧降低，在增加服务器负载的同时严重影响用户体验。作为面向过程的结构化数据计算语言，集算器 SPL 可通过有序归并的方法，显著提升大主子表关联计算的性能。 下面就来乾学院一探究竟：大主子