15倍提升 & 40倍存储优化,TDengine在领益智造的实践
在对生产设备的AOI全检数据进行质量分析时,我们对关系型数据库做了很多预处理运算,但是在计算正态分布、盒须图、尺寸分析及原始数据查询上遇到了致命的性能问题。此前我们选择的数据库服务器已达到较高的硬件配置(1.5T的内存、96逻辑核的CPU、全闪盘的专业存储),再想要通过提高服务器配置来实现响应速度的
TDengine在智慧排水系统中的应用介绍
业务场景智慧排水系统中需要对排水设备中的液位进行监测。通常会在被监测区域部署电流液位传感器,采集电流液位频率。传感器采集的信息通过MQTT协议传到网关,网关收集到信息后会定时推送到业务后台服务,由服务层来做数据存储和实时分析。设备运行数据放在SQLServer里面,液位电流频率等不重要又特别多的数据
【2022/5/24】ITPUB新闻早报
今日热点:1、华为“鸿蒙之父”王成录或离职,加入中软国际系公司36氪获悉,据报道,华为鸿蒙负责人、华为终端BG软件部总裁王成录博士已经离开华为,个人微博的官方认证也已取消。而社交媒体上有多位科技行业博主表示,王成录已经加入深开鸿公司(深圳开鸿数字产业发展有限公司),新去向获得了华为高层认可。王成录为
TDengine如何轻松玩转“潮鞋”APP?
背景作为一家互联网电商公司,得物有许多系统和场景都需要做流量的监控和防护,所以在深度定制化开源流控防护组件Sentinel时我们加入了许多功能,帮助提升各业务系统的流控防护。备注:Sentinel组件地址:https://github.com/alibaba/Sentinel在开发过程中,我们发现开
万字详解 TDengine 2.0 数据复制模块设计
1:数据复制概述数据复制(Replication)是指同一份数据在多个物理地点保存。它的目的是防止数据丢失,提高系统的高可用性(HighAvailability),而且通过应用访问多个副本,提升数据查询性能。在高可靠的大数据系统里,数据复制是必不可少的一大功能。数据复制又分为实时复制与非实时复制。实
TDengine在同花顺组合管理业务中的优化实践
前言同花顺每天需要接收海量交易所行情数据,确保行情数据的数据准确。但由于该部分数据过于庞大,而且使用场景颇多,每天会产生很多的加工数据,而组合管理(PMS)还会使用到历史行情数据。之前虽然采用了Postgres+LevelDB作为数据的存储方案,但仍然有不少痛点,所以必须对存储方案进行改造。通过对C
保姆级演示一分钟搞定TDengine的下载安装
TDengine支持的平台TDengine支持X64、X86、ARM64、ARM32,以及国产的龙芯、申威、海光、鲲鹏等平台。下载使用第一步,到官网下载安装包官网地址:www.taosdata.com首先我们来看一下服务端部分,服务端部分我们主要分为三个包,第一个是rpm包,适用于centos操作系
助力地质灾害专业监测,他们选择将 Oracle 替换为 TDengine
公司简介苍穹数码技术股份有限公司2001年创建于北京,是一家专业从事3S技术研究、开发与应用服务,致力于政府、国防和企业信息化建设的高新技术企业,也是业内率先打通地理信息全产业链的平台级产品、技术与服务提供商,在信息化相关技术领域具有核心竞争优势。我国常见的地质灾害共有12类、48种。在所有的地质灾
蓝格赛(中国)用TDengine落地聚合查询场景,效果如何?
本次项目为某市政供水水厂的数字化项目,数据来源于包括水泵、阀门、电表、液位计、流量计等多种设备近6000测点。该平台需要实现以下功能:数据秒级采集,历史数据留存3年,为上层应用提供数据支撑,包括所有测点的瞬时数据、聚合分析、数据报表等。值得注意的是,在本项目中聚合查询的使用场景非常的多,页面上图表不
查询速度提升两倍,TDengine在GPS服务中的应用
公司简介南京津驰健康科技有限公司是一家专业从事互联网技术服务、计算机软件开发及应用于一体的互联网营销服务的创新型企业。在竞争激烈的互联网行业中,始终坚持以技术为核心,组建强大的技术开发团队,希望通过发挥我们的专业知识,以客户的利益最大化为目标,为企业提供线上线下全方位的信息技术服务。一.现状及痛点目
TDengine在雷达台站运维管理系统中的落地实践
随着大数据时代的到来,民航行业对数据的重视程度提高,对空管设施设备可靠性、安全性、智能化水平也提出了更高的要求。在这一背景下,智慧化雷达台站的建设提上日程,为便于对台站进行全局的管理,提高台站运行效率,民航开始推动以集中化的管理模式对雷达台站进行智慧运行管控——以台站智能化设备为基础,利用先进的信息
CentOS 7.x 部署 Dolphindb 集群
目录Dolphindb简单说明Dolphindb集群部署Dolphindb常用操作 Dolphindb简单说明 DolphindbCluster有三种节点:控制节点、代理节点和数据节点。简单理解其关系:控制节点控制代理节点启动数据。节点作用说明:控制节点用于集群元数据的管理和协调,不能作为任务
DolphinDB机器学习案例教程:实时实际波动率预测
本教程使用上证50成分股2020年的level2快照数据,构建频率为10分钟的高频交易特征(价差、深度不平衡指标、加权平均价格、买卖压力指标、实际波动率)作为模型输入,将未来10分钟的波动率作为模型输出,利用DolphinDB内置机器学习框架中支持分布式计算的adaBoostRegressor算法构
胡津铭:时序数据库DolphinDB,从量化金融到万物互联
导读DolphinDB是高性能分布式时序数据库,集成了功能强大的编程语言和高容量高速度的流数据分析系统,为海量结构化数据的快速存储、检索、分析及计算提供一站式解决方案。时序数据库的主要应用场景我今天分享的主题是“时序数据库:从量化金融到万物互联”,因为在我看来这是时序数据库最主要的两个应用场景:量化
干货丨使用Orca开发量化策略
本文讲述关于动量策略的一个实例。动量策略是最著名的定量长短期股票策略之一。自从Jegadeesh和Titman(1993)首次提出这个概念以来,它已广泛出现在学术研究和销售方面的著作中。投资者在动量策略中相信,个股中,过去的赢家将超越过去的输家。最常用的动量因素是股票除去最近一个月在过去12个月的收
Orca与Pandas之间的差异是什么?
由于DolphinDB是一款相对成熟的高性能分布式时序数据库,其底层对一些方法的处理机制已经成型,这就决定了Orca在某些细节方面会与pandas存在差异。为了方便用户更快地了解和掌握Orca,本文按照以下几个模块来系统地介绍Orca与pandas存在的差异。数据类型的差异通用函数的差异Input/
干货丨Orca写数据教程
Orca项目在DolphinDB之上实现了pandasAPI,使用户能更高效地分析处理海量数据。在数据存储方面,与pandas相比,Orca具备以下显著优势:更灵活的选择Orca不仅能像pandas一样在内存中进行计算,将DatFrame中的数据导出到磁盘,也能随时将DataFrame的数据以及计算
Redo Log&CacheEngine性能详解
这篇教程介绍DolphinDB中的RedoLog和CacheEngine,它们相互之间的关系以及对整体性能的影响。需要注意的是,它们只对DFS数据库起作用,对磁盘表和流表不起作用。另外,启用了RedoLog之后必须启用CacheEngine。1RedoLog1.1什么是RedoLog在关系型数据库系
干货丨Orca 数据加载入门教程
本文介绍在Orca中加载数据的方法。1建立数据库连接在Orca中通过connect函数连接到DolphinDB服务器:>>>importdolphindb.orcaasorca>>>orca.connect(MY_HOST,MY_PORT,MY_USERNAME,
干货丨手把手教你如何加载和操作DolphinDB内存分区表
DolphinDB的内存数据表可以是非分区的,也可以是分区的。除了组合分区以外的所有分区方式都适用于内存数据表。使用分区内存表进行运算能充分发挥多核CPU并行计算的优势。1.创建内存数据表1.1创建非分区内存表使用table函数可以创建非分区内存表。table函数的用法非常灵活:第一种用法:tabl