摘要

• iSAM 的期权团队在 ClickHouse Cloud 上运行其市场数据研究平台，为研究人员提供对完整期权历史数据的快速、交互式访问，以进行假设检验。

• 从 Postgres 迁移到 ClickHouse 后，团队的压缩率相比之前的基础设施提升了 35-50 倍，单核摄取速度从每秒 8,000 行提升到 800,000 行。

• ClickHouse 的列式存储和向量化执行使查询速度足以按需运行，让团队得以放弃预计算的汇总表和物化视图，并消除了一层管道复杂性。

iSAM Funds 是一家总部位于英国的另类资产管理公司，专注于系统化投资。该公司坚定不移地以数据驱动。“数据是我们架构中如此关键的一部分，”iSAM 期权开发主管 Steve Barham 表示。“我们的技术需求取决于我们能观察到的数据、我们如何存储数据，以及我们能从中提取什么信息。”

iSAM 期权团队大约在三年前成立，其广泛职责是将跨资产期权能力引入公司。

正如 Steve 所解释的，捕获标的上市工具（例如期货、上市股票）的市场数据是成熟领域。这些市场频繁跳动，处理这种数据流对大多数公司来说是家常便饭。“当你想要在此基础上开始研究期权市场时，挑战就来了，”他说。“当标的资产变动时，有多少相关期权会随之变动？”

他对这种扇出效应的设计估算约为 10,000 个符号。“从数据工程的角度来看，这让你进入了一个截然不同的领域，”他说。下游的一切都继承了这种乘数效应——分发数据、存储数据，然后再查询回来。

我们与 Steve 进行了交流，了解他的团队正在解决的技术挑战，以及 AWS 上的 ClickHouse Cloud 如何帮助他们处理更多数据、降低相关复杂性，并缩短从研究人员想法到经过测试的假设之间的路径。

在解决问题之前先评估问题规模 #

Steve 说，第一步是衡量问题。这从参考数据开始，为给定的标的确定存在哪些期权，并为给定的市场确定标的集合是什么样子。这告诉你需要处理多少数据。正如 Steve 所描述的，目标是构建尽可能多的市场一致性快照，并基于该市场数据构建衍生数据管道和交易系统。

扩展的一个关键考虑因素是市场数据活动在各交易所产品之间的分布，而这种分布很少是均匀的。"CME Group 上市了数百个期货市场，其中许多都有相关的期权市场，"Steve 说。"但如果某个市场的交易量很小，那么你就没有太大的数据挑战。" 反过来说，像国债或标普期货这样的产品，则有大量上市合约和巨额流动性在其中流动。他将这种活动描述为在各市场之间分布不均。这使得简单的水平分区或分片效果不佳：各市场的交易量差异显著，而且市场数量太少，无法通过简单的分区来可靠地平衡负载。

对于 Steve 和他的团队来说，构建期权数据平台最终归结为两个核心挑战。"分析你所处理的数据量是第一阶段，然后让自己有信心能够分发、存储和查询这些数据量是下一步，"他说。"这就是 ClickHouse 为我们发挥作用的地方。"

从 Postgres 到 ClickHouse #

在构建新事物时，Steve 从创新令牌的角度来思考决策。"你打算把你的创新令牌花在什么上面？"他问道。"是业务领域？技术领域？还是两者的某种组合？"

在技术方面，Steve 的团队选择了"无聊、熟悉"的路线，用 Postgres 进行原型开发。这让他们在迭代中取得了合理的进展，使他们能够运行实验并衡量问题。但随着团队在想要捕获的数据的广度和深度上的雄心不断增长，他说，"很快就变得很清楚，我们需要在数据持久化方式上进行相当根本性的改变。"

iSAM 内部的其他团队一直在以不同程度的技术成熟度使用 ClickHouse，反馈回来的报告足够令人鼓舞，让 Steve 决定投入时间进行试验。他在相同的硬件上为该交易台的数据设置了一条并行的持久化路径，以了解这项技术能做到什么。

结果令人印象深刻。按时间序列顺序存储数据，没有进行任何他认为属于特殊调优的操作，就实现了相比团队 Postgres 占用空间 35-50 倍的压缩。单核摄取从每秒 8,000 行提升到 800,000 行。

同样有价值的是 ClickHouse 在数据摄取和输出方面的灵活性。iSAM Options 交易台的内部数据基础设施大部分构建在 Apache Arrow 之上。"我可以直接用 Arrow 与 ClickHouse 对话，"Steve 说。"我可以发送一个 Arrow 编码的帧来插入数据，并有信心它能到达，我也可以用同样的方式拉取数据。"无论是 Arrow、Parquet 还是 JSON，他不必在数据每次跨越边界时不断地在编码之间重新转换。"对数据在传输线上应该是什么样子没有预设意见——这是非常重要的一点，"他说。

选择 ClickHouse Cloud 以专注于创新 #

该交易台在几周内就上线了 ClickHouse。"在构建时，上市时间至关重要。我喜欢快速运行迭代。我喜欢尽可能快地向人们展示变更的结果，这样我们就能快速找到正确的产品并在此基础上迭代，"Steve 说。

在一两个月内，问题已经从 ClickHouse 是否可行转变为团队是否应该自己运行它。"很明显，这将成为我们数据基础设施的核心部分，"Steve 说。

"我不想把我的创新预算花在学习如何在本地运行 ClickHouse 上，包括故障转移以及当它是你的主要数据存储之一时所需的一切。我只想要一个交钥匙解决方案，让我能够有信心地继续推进。这就是 ClickHouse Cloud 给我的。" — Steve Barham，iSAM 期权开发主管

ClickHouse 的托管服务仍需满足 iSAM 作为系统性基金的要求。iSAM 自身拥有大量 AWS 资源，并据此对其 ClickHouse 服务的网络访问进行管控，通过公司现有的直连通道接入 AWS 来访问这些服务。该部署与 iSAM 的企业认证体系集成，这是平台的核心要求。

一项被证明非常实用的新功能是将备份推送到 iSAM 自己的存储桶中。团队利用这一功能将部分生产数据拉取到本地 ClickHouse 实例中，以提升开发效率，同时与生产负载隔离。

快到足以让一切保持简单 #

对 Steve 而言，ClickHouse 最大的优势之一是其性能带来的复杂度降低。汇总表、物化视图、以降采样形式存储的预聚合数据——“很多事情我们干脆不做了，因为 ClickHouse 在列式存储和向量化执行的配合下已经足够快，”他说。“如果我想在页面上放一张包含一年柱状数据的图表，没问题，直接跑那个查询就行。”

这并不是说简单化是所有地方的目标。“我很高兴我们的系统有高复杂度的区域，”Steve 说。“这是不可避免的。如果没有这些，我们就不会是一家有竞争力的企业。”他不希望的是复杂度堆积在 Web 前端，或者堆积在仅仅用于预聚合数据的管道中。“我希望复杂度待在正确的位置。”

正如 Steve 所说，这就是快速数据库为团队带来的价值：“一个像 ClickHouse 这样高性能的系统，我们可以把任何查询扔给它，它就是能跑。”

从业务角度来看，这种速度体现在想法能被多快验证上。iSAM 的研究人员并不直接查询 ClickHouse（访问通过交易台自身的系统进行中介），但其性能允许他们在全市场和全历史数据上快速测试新想法。“我的目标是让数据探索更快、更一致，从而缩短研究人员从产生想法到推向市场的时间，”Steve 说。

“推向市场的速度已成为最重要的指标，尤其是在 AI 时代。你能多快验证你的假设？你能多快看出这是否可行？ClickHouse 在这方面真的非常非常有帮助。”—— Steve Barham，iSAM 期权开发主管

仍有增长空间 #

ClickHouse Cloud 为交易台带来的另一项优势是余量。在 Steve 看来，为并行数据集构建投入更多算力，与其说是消除了约束，不如说是把约束转移到了状态存储层。数据存储必须与其他一切同步扩展。

当大规模重建即将到来，团队知道他们将连续数小时高强度使用 ClickHouse 时，他们会扩容实例、运行回填任务，然后让它缩容回去，而不是为偶尔到来的峰值配置一台本地机器。Steve 称之为“一种非常经济高效的方式，来租用一些非常昂贵的硬件。”

随着交易台持续扩张，这种余量变得更加重要。团队在三年内从期货扩展到外汇再到股票期权，每一步底层数据都在成倍增长。Steve 表示，他们接下来的重点是在全历史数据上更快地重建大型数据集。

除了性能和可扩展性之外，Steve 还强调了 ClickHouse 团队给予他的支持，包括一个从迁移初期就一直运行的共享 Slack 频道。“能够与真正懂技术的人交流，让我们省去了很多手把手的指导和问题分诊，”他说。

归根结底，Steve 的团队存在的意义是从波动率领域中提取信息并据此构建策略。这意味着需要持有比传统交易团队多得多的数据，并尽可能快速地获得答案。借助 ClickHouse Cloud，完整的历史数据保持在线且可查询，问题与答案之间的管道更少，并且随着每个新市场使底层数据成倍增长，平台也能随之扩展。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：ClickHouse Blog

原创地址：https://clickhouse.com/blog/isam-market-data-research-platform