ITPub博客

首页 > IT基础架构 > 服务器/存储 > 金融数据处理新策略:ScaleFlux CSD的优化之道

金融数据处理新策略:ScaleFlux CSD的优化之道

原创 服务器/存储 作者:ScaleFlux 时间:2024-11-18 11:40:55 0 删除 编辑

利用硬件压缩技术缓解金融交易数据管理中的性能、成本和功耗挑战 。

问题背景

随着Tick数据量的不断增加,对数据访问速度的要求也愈加严苛,迫使您依赖SSD来满足不断增长的I/O需求。数据集的规模正从单TB跃升至数十TB甚至上百TB,这给存储的成本、功耗和空间带来了巨大的压力。 压缩数据无疑是缓解存储空间、降低每TB成本并减少功耗的有效途径,但CPU压缩数据往往会引入延迟,影响分析应用的性能,并且增加整体功耗。

解决方案

ScaleFlux CSD3000 NVMe SSD (以下简称CSD) 专为高负载工作负载设计,并集成了独特的硬件压缩(与解压)功能,能够在 保证低延迟的同时 提高I/O性能,优化功耗/性能比,实现三重优势。

图片

对基础设施的好处

主机的CPU和GPU更擅长数据分析而非数据压缩,那么为什么要让它们负担KDB+等软件压缩任务?不如将压缩/解压任务卸载到内置处理器的先进NVMe SSD上,释放CPU的应用处理能力。如今,专用处理器(即“领域专用计算”)已经广泛应用于多个领域——AI运算交给GPU、TCP流量交给智能网卡、视频编解码交给转码器,为什么不使用内置压缩/解压处理器的SSD呢? 它能提供比普通企业级NVMe SSD高4倍的存储容量、9倍的耐用性以及2倍以上的性能。

通过在硬盘中实现硬件压缩,您可以提升效率,降低TCO(总拥有成本),同时加速应用响应:

  • 在不增加服务器占用空间的情况下分析更多数据

  • 通过压缩降低存储成本,提升延迟和I/O性能(无需在存储成本与延迟/性能之间做出妥协)

  • 延长闪存存储的使用寿命,匹配服务器更新周期

  • 无需安装新驱动或软件,因为这些硬盘使用标准的 NVMe 驱动和命令

  • 利用硬盘自身的压缩功能扩展性能,无需过度购买更多CPU核心以应对未来的负载

ScaleFlux CSD的内置压缩功能 能够在相同的物理空间内处理更多数据,减少服务器和存储的扩展需求,同时避免增加管理复杂性。它可以卸载CPU的压缩/解压任务,在不增加额外服务器或更快CPU的情况下,提升数据分析能力。

ScaleFlux CSD的压缩功能 对应用程序完全透明,无需额外操作来触发“写时压缩”或“读时解压”功能,应用程序无需修改,降低了停机风险。

CSD的压缩引擎能够以线路速率(line-rate)运行,且实现 最高6.2GB/s的持续写入速度!通过数据压缩,SSD在初次写入时减少了对NAND单元的需求,保持更多空闲空间,从而 减少垃圾回收时的写放大(write amplification)。与其他企业级 NVMe SSD 相比,所有这些改进使得  I/O 性能提升了 2 倍或更多,延迟显著降低,且耐用性最高可提升 9 倍。

它适用于您的数据吗?数据真的能压缩吗?

Tick数据通常具备很高的压缩性, 压缩比可达到4:1或更高。数据包捕获数据(Packet capture )也具有较强的压缩性, 压缩比通常为2:1到2.1:1。您可以使用我们的工具评估数据的可压缩性。也可以申请试用,亲自体验ScaleFlux CSD。安装过程与普通NVMe SSD相同,支持U.2或U.3插槽,评估设备有4TB、8TB和16TB可供选择。

对系统的影响

将CSD应用到Tick分析系统中,可以带来:

  • 查询每秒处理数(QPS)提升 2 倍

  • 99.9% 延迟降低至接近 0 *

  • 每有效 TB 成本降低 2 倍

  • SSD 耐用性提高 9 倍

  • 无需安装新驱动

  • 无需修改应用程序

*在70%读/30%写混合随机负载下的写入延迟


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70018745/viewspace-3050360/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
作为一家在闪存存储领域的创新性解决方案提供商,ScaleFlux主打带透明压缩企业级SSD和SSD控制器产品。通过压缩来提升读写性能,提高稳定性和SSD寿命,让企业在成本,性能,安全之间找到最佳的平衡,实现真正的降本增效。

注册时间:2022-06-08

  • 博文量
    26
  • 访问量
    22489