DolphinDB内存表详解
内存表是DolphinDB数据库的重要组成部分。内存表不仅可以直接用于存储数据,实现高速数据读写,而且可以缓存计算引擎的中间结果,加速计算过程。本教程主要介绍DolphinDB内存表的分类、使用场景以及各种内存表在数据操作以及表结构(schema)操作上的异同。1.内存表类别根据不同的使用场景以及功
DolphinDB文本数据加载教程
DolphinDB提供以下4个函数,将文本数据导入内存或数据库:loadText:将文本文件导入为内存表。ploadText:将文本文件并行导入为分区内存表。与loadText函数相比,速度更快。loadTextEx:将文本文件导入数据库中,包括分布式数据库,本地磁盘数据库或内存数据库。textCh
DolphinDB流计算引擎实现传感器数据异常检测
DolphinDB提供了流数据表(streamtable)和流计算引擎用于实时数据处理,包括物联网中传感器数据的异常检测。内置的异常检测引擎(AnomalyDetectionEngine)能满足大部分异常检测场景的需求。如果异常检测逻辑复杂且较为特殊,标准化的异常检测引擎不能满足要求,用户可以用自定
DolphinDB脚本语言的混合范式编程
开发大数据应用,不仅需要一个能支撑海量数据的分布式数据库,一个能高效利用多核多节点的分布式计算框架,更需要一门能与分布式数据库和分布式计算有机融合,高性能易扩展,表达能力强,满足快速开发和建模需要的编程语言。DolphinDB从流行的SQL和Python语言汲取了灵感,设计了大数据处理脚本语言。本教
DolphinDB通用计算教程
DolphinDB不仅可以分布式地存储数据,而且对分布式计算有良好支持。在DolphinDB中,用户可以用系统提供的通用分布式计算框架,通过脚本实现高效的分布式算法,而不需关注具体的底层实现。本文将对DolphinDB通用计算框架中的重要概念和相关函数作出详细解释,并提供丰富的具体使用场景和例子。1
DolphinDB内存管理详解
DolphinDB是一款支持多用户多任务并发操作的高性能分布式时序数据库软件(distributedtime-seriesdatabase)。针对大数据的高效的内存管理是其性能优异的原因之一。本教程涉及的内存管理包括以下方面:变量的内存管理:为用户提供与回收编程环境所需内存。分布式表的缓存管理:多个
DolphinDB的权限管理和安全
DolphinDBdatabase提供了强大、灵活、安全的权限控制系统。控制节点(controller)作为权限管理中心,使用RSA加密方式对用户关键信息进行加密。主要功能:提供用户和组角色,方便权限控制提供8种权限控制类别,适应各种场景丰富的权限控制函数函数视图兼顾保护数据隐私与提供分析结果对任务
DolphinDB模块复用教程
在软件团队开发项目中,要提升开发效率和质量,代码必然要进行封装和重用。在使用DolphinDB的脚本进行开发时,可以使用module和use方法,来声明和使用可重用模块。1.Module(模块)介绍在DolphinDB中,模块是指只包含函数定义的代码包。它具有以下特点:以.dos作为模块文件的后缀,
DolphinDB实现EMQ X的数据接入
DolphinDB是由浙江智臾科技有限公司研发的一款高性能分布式时序数据库,融合了分布式存储、分布式计算、流计算和编程语言,为客户提供了轻量级、一站式的大数据解决方案,特别适合量化金融及工业物联网等领域。DolphinDB为用户提供了多种API接入方式,同时还支持MQTT/OPC/KAFKA等多种数
金融市场高频数据应当如何管理——DolphinDB与pickle的性能对比测试和分析
金融市场L1/L2的报价和交易数据是量化交易研究非常重要的数据。国内全市场L1/L2的历史数据约为20~50T,每日新增的数据量约为20~50G。传统的关系数据库如MSSQLServer或MySQL均无法支撑这样的数据量级,即便分库分表,查询性能也远远无法达到要求。例如Impala和Greenplu
DolphinDB智臾科技CEO周小华:《从反向控制的终极目标谈时序数据库的架构设计》
2021年4月25-26日,由极客邦科技与InfoQ中国主办的2021ArchSummit全球架构师峰会在上海召开。本次大会聚焦业界强大的技术成果,秉承“实践第一、案例为主”的原则,展示先进技术在行业中的典型实践,以及技术在企业转型、发展中的推动作用。ArchSummit主会场DolphinDB智臾
DolphinDB案例分享丨帆软报表软件如何连接DolphinDB数据源
1.概述2.安装并启动FineReport3.配置JDBC连接4.实例4.1创建DolphinDB数据源4.2定义数据库查询和创建表格1.概述FineReport(帆软报表软件)是一款集数据展示和数据录入功能于一身的企业级工具,具有专业、简捷、灵活的特点,仅需简单的拖拽操作便可以设计复杂的报表或搭建
DolphinDB插件开发深度解析
DolphinDB支持动态加载外部插件,以扩展系统功能。插件用C++编写,需要编译成".so"或".dll"共享库文件。插件开发和使用的整体流程请参考DolphinDBPlugin主页dolphindb/DolphinDBPlugin开发插件的方法和注意事项请参考DolphinDB插件开发教程本文着
重磅丨DolphinDB落地长江电力工业物联网平台项目
近日,浙江智臾科技有限公司(以下简称“智臾科技”)与东华软件股份公司(以下简称“东华软件”)的首个战略合作项目正式落地。此次合作的内容是面向电力行业的长江电力工业互联网平台项目。智臾科技与东华软件将基于DolphinDB大数据平台,以工业物联网领域的软件应用和技术服务为合作内容,共同致力于打造优秀的
GIAC专访丨DolphinDB研发总监周信静:实时计算,连接时序数据库和核心业务
随着物联网IoT场景的兴起,大量的时序数据需要存储与计算。时序场景不同于传统OLTP,其写入吞吐要求极高,同时数据量也远大于OLTP场景,必须要进行多机分布式存储;同时事务又是一个很好的特性,许多工业控制IoT场景和金融场景需要事务,而现有时序数据库产品鲜有事务的支持。如何构建一个支持读写事务、高写
「DolphinDB教程」如何正确定位节点宕机的原因
在使用DolphinDB时,有时客户端会抛出异常信息:Connectionrefused。此时,linux操作系统上使用ps命令查看,会发现DolphinDB进程不见了。本教程针对出现这种情况的各种原因进行定位分析,并给出相应解决方案。下面分情况讨论进一步的排查步骤。第一种:查看控制节点日志cont
从一次 SQL 查询的全过程看 DolphinDB 的线程模型
分布式系统较为复杂,无论写入还是查询,都需要多个节点的配合才能完成操作。本教程以一个分布式SQL查询为例,介绍DolphinDB分布式数据库的数据流以及其中经历的各类线程池。通过了解SQL查询的全过程,也可以帮助我们更好地优化DolpinDB的配置和性能。2.不同类型线程与配置参数的关系线程类型配置
更强大、更灵活、更全面丨一文搞懂DolphinDB窗口计算
在时序数据的处理中经常需要使用窗口计算。在DolphinDB中,窗口计算不仅仅应用于全量的历史数据计算,还可以应用于增量的流计算。窗口函数既可应用于SQL(处理表中的列),也可应用于面板数据(处理矩阵中的列)。DolphinDB对于窗口计算进行了精心优化,与其它系统相比,拥有显著的性能优势。除此之外
DolphinDB节点启动时的流计算自动订阅教程
DolphinDB内置的流数据框架支持流数据的发布、订阅、预处理、实时内存计算、复杂指标的滚动窗口计算等,是一个运行高效、使用便捷的流数据处理框架。处理流程图说明:(1)snapshotStream、snapshotStreamProcess、snapshotAggr1min都是共享的异步持久化流数
5G+工业互联网丨DolphinDB携手诺基亚贝尔打造高精度实时计算平台 DolphinDB智臾科技
近日,由智臾科技(DolphinDB)承担、诺基亚贝尔参与,双方共同申报的「基于5GPre-TSN网络的高精度时间同步实时计算平台」项目,成功入围浙江省“尖兵”、“领雁”研发攻关计划项目,时序数据库技术将尝试用于解决"5G+工业互联网"中低成本终端缺少高精度时间支持的难题。项目简介在工业互联网和工业