【TSDB 科普】时序数据压缩技术:差分压缩、增量压缩、浮点压缩核心机制解析
上一篇我们聊了为什么绝大多数时序数据库都会选择 LSM-Tree 作为底层存储引擎:它依靠内存缓冲加顺序落盘,扛住了物联网、车联网 7×24 小时海量数据写入,解决了“写得进”的问题。但紧接着,下一个现实难题就摆在面前:存不下。传感器、电表、车载终端每秒源源不断输出测点,比如温度、电压、振动、转速。百万级设备持续采集几个月,原始时序数据就会迅速膨胀。如果原样存储,磁盘成本和 IO 开销都会变得很高
【TSDB科普】时序数据库分片:时间分片、维度分片、哈希分片的底层设计逻辑
前一期我们聊完了LSM\-Tree为什么能成为时序数据库的标配存储结构。但存储模型解决的是单节点上数据怎么落盘的问题,一旦数据量上来、节点数变多,就绕不开另一个核心问题:数据怎么拆到不同机器上去?这就是分片(Sharding)要干的事。时序数据库的分片策略看起来选择不少,但归根结底就三种思路:按时间分、按维度分、按哈希分。每种思路的底层逻辑不同,适用的场景也不同。选错了,轻则查询变慢,重则扩缩容直
【TSDB科普】为什么时序数据库更偏爱LSM-Tree?
前四期基础科普里,我们聊完了时序数据的特征、落地场景、三维分类标准,也对比了Prometheus、IoTDB、TDengine、KaiwuDB、TimescaleDB这几类产品的适用边界。有个问题绕不开:同样是持久化存储结构,传统数据库清一色用B+Tree,主流时序数据库却几乎全选了LSM-Tree。B+Tree查询速度快、事务能力强,放在海量时序场景里为什么容易崩?LSM-Tree存在写放大、区
【TSDB科普】时序数据到底怎么分类?更新、维度、粒度三个角度讲清楚
做物联网运维、设备监控、能源数字化项目,很多存储选型出问题,不是因为数据库性能不够,而是时序数据类型和存储引擎架构不匹配。工程人员习惯先选数据库再适配业务数据,这个顺序反了就很容易踩坑——写入性能上不去、查询超时、存储撑爆、数据错乱,基本都是这个路数。市面上关于时序数据库选型的内容大多是产品功能横向对比,很少有人系统讲时序数据本身怎么分类。但时序库选型的核心第一要务,其实是先搞清你的数据是什么类型
【TSDB科普】为什么时序数据需要专门的数据库?从底层模型看懂 TSDB
做物联网、设备运维、能耗监测的开发者,几乎都纠结过一个问题:为什么设备时序数据,不能直接用 MySQL、MongoDB 存?实际项目里我们经常遇到:初期数据量小时跑得好好的,一旦设备变多、采集频率变高、运行周期拉长,就开始出现写入卡顿、查询变慢、磁盘暴涨、报表对不齐等各种奇怪问题。很多人以为是索引没建好、SQL 没优化、机器配置不够。这些当然可能有影响,但更深一层的原因是:数据库底层理论模型根本不
【TSDB科普】时序数据库核心术语合集:时间戳、测点、维度、指标、时间粒度等
深耕工业物联网、车联网、智慧能源等时序数据场景的落地实践后,我发现一个普遍且容易被忽视的核心问题:多数时序项目踩坑、返工、验收出问题,往往不是卡在架构设计、性能调优、设备高并发接入等硬核技术难题,而是源于团队内部时序术语不统一、基础数据认知不一致。在日常项目协作中,研发、算法、产品、交付以及对接甲方的不同角色,对测点、指标、维度、时间粒度这些基础概念,常常存在各自的理解偏差。不少人混淆物理采集点位
【TSDB科普】一文搞懂时序数据库TSDB
随着物联网设备大规模普及、云原生监控体系落地、金融量化与工业数字化快速发展,有一类数据正在呈爆炸式增长:服务器CPU、内存、磁盘的实时监控指标,工业传感器毫秒级采集的设备参数,互联网业务的流量、延迟、在线人数时序指标,金融市场的逐笔行情数据等等。这类数据有一个共同的名字:时序数据,也是当下数字化场景中体量最大、产出最持续的数据类型。这里先聊一段行业发展史,也是很多老运维、后端都踩过的经典过渡方案。
TSBS 实测:KaiwuDB VS TimescaleDB 性能对比,原生时序与 PG 时序化差距有多大
在时序数据库领域,TimescaleDB 作为 PostgreSQL 生态的时序化方案,扩时序能力都会优先考虑,是 PG 系时序方案的标杆。而 KaiwuDB 这两年发声也挺多的,作为国产原生时序数据库,在各类基准测试里表现亮眼,往期几篇我也依次分享了KaiwuDB 与 IoTDB、TDengine、InfluxDB 的对比测试数据情况。这次依然还是想沿用 TSBS 标准基准,想来看看 PG 生态
TSBS 实测:KaiwuDB vs InfluxDB,时序数据库性能差多少?
在工业物联网、智能运维监控等时序业务场景中,时序数据库的写入吞吐能力、查询响应效率以及高负载下的系统稳定性,直接决定了业务系统的可靠性与可扩展性。本次测试基于行业通用的时序数据库基准测试工具——TSBS (Time Series Benchmark Suite),在完全一致的硬件、操作系统与容器环境下,对 KaiwuDB V3.1.0 与 InfluxDB V1.6.4 两款产品进行了全场景性能对
聊聊 KaiwuDB 的开源压测工具:kwdb-tsbs 上手分享
上一篇我们聊了一下通用 TSBS 工具聊一聊TSBS:时序数据库跑分,为啥大家都用它?今天想就一家国内厂商开源的TSBS工具展开讲讲。怎么看这件事儿,怎么用,以及好不好用。最近一直在玩时序数据库,做性能对比的时候离不开压测工具。今天给大家分享一下kwdb-tsbs,这是适配 KaiwuDB 的 TSBS 基准测试工具,我用下来感觉很顺手,整理了一份完整使用笔记,方便大家快速上手。参考 KaiwuD
聊一聊TSBS:时序数据库跑分,为啥大家都用它?
发了两篇时序库性能对比的帖子,没想到被问得最多的问题竟然是“TSBS到底是个啥?为什么非得选它测?”行,今天咱就专门水一篇,聊聊TSBS这事。一、TSBS是什么有朋友问“TSBS是不是一个性能基准测试平台?”其实准确说,TSBS (Time Series Benchmark Suite)是一套标准化测试工具/套件,不是那种登录网页点个按钮就能跑分的SaaS平台,得自己下载、配置、生成数据、执行查询
基于TSBS的时序数据库性能测试报告:KaiwuDB 3.1.0 vs IoTDB 2.0.7
在上一篇文章中,我已经基于 TSBS 标准基准分享了KaiwuDB 与 InfluxDB的写入与查询性能对比,希望可以为时序数据场景选型提供些参考。IoTDB 作为面向物联网、工业时序场景设计的时序数据库,在设备采集、工业监控、轻量级时序业务中应用广泛。本次我将 KaiwuDB 3.1.0 与 IoTDB 2.0.7 展开公平性能测试,重点验证写入吞吐、查询时延、高并发稳定性及大规模场景可用性,为
时序数据库实测对比:KaiwuDB 3.1.0 vs TDengine 3.3.8 写入与查询性能全解析
最近因为一些业务需要,一直在研究国产时序数据库,刚好顺便出一些测评。第一轮选中了 TDengine 和 KaiwuDB 先试试。TDengine 确实知名度比较高,开源生态成熟,在时序数据库中还是比较有代表性的;KaiwuDB 我也是才知道不久。24年才正式开源的国产新生代力量,在墨天轮时序库榜单上升势头极快,且去年在 benchANT 性能榜单评测中拿下第一,性能表现看上去也算是在第