关键字: [亚马逊云科技， factsite， 实时数据业务， 数据格式丛林， 网络延迟问题， 成本控制挑战， 合规安全体系， 本地化服务缺失]

导读

徐小荣在本次演讲中介绍了factsite如何应对实时数据业务的五大挑战:数据格式丛林、网络延迟黑洞、成本控制陷阱、合规和安全体系以及本地化服务缺失。他重点阐述了factsite如何通过亚马逊云科技架构解决数据格式丛林和网络延迟黑洞的挑战，帮助客户轻松获取全球交易所数据，并通过私有链路和弹性带宽实现高时效性和低成本。factsite的独特业务模式和与亚马逊云科技的深度合作，使其能够为客户提供灵活部署、轻资产运营等多重优势，助力客户全球化成功。

演讲精华

以下是小编为您整理的本次演讲的精华。

事件名称: chinese-video-to-article

根据视频标题“亚马逊云科技助力factsite应对实时数据业务五大挑战”和视频字幕内容，我将以叙事风格详细阐述演讲的主要内容。

大家下午好!今天，我很高兴能够在这里与大家分享实时数据业务所面临的挑战，以及factsite如何借助亚马逊云科技(亚马逊云科技)的力量来应对这些挑战，为客户提供更好的服务。

首先，让我简单地介绍一下自己。我叫徐小荣，是一名程序员出身，从2009年开始从事行情数据业务。在加入factsite之前，我曾在一家境外评级机构担任技术经理，后来又在一家交易所担任客户成功经理，主要负责销售工作。2022年，我以家族师的身份加入了factsite，从产品和技术的角度继续为客户解决问题。

factsite成立于1978年，1996年在纽约证券交易所上市，目前在全球20个国家拥有约10，000多名员工，是标准普尔500指数成分股之一。我们的主要业务涵盖了数据治理、分析工具和资产管理等多种金融服务。factsite的行情数据业务起步于2015年，与其他厂商一样，主要分为三个板块:数据内容、技术平台和售后保障。

在数据内容方面，我们目前已经覆盖了全球1，000多家数据源，包括各类股票交易所、期货交易所、指数公司，以及外汇、债券、美债、加密货币等场外交易中心。售后保障方面，factsite一贯秉承与客户建立长期互利合作关系的宗旨，我们的使命就是通过一站式服务助力客户实现全球化成功。当然，在当前的国际关系形势下，实现这一使命面临着更大的挑战。

今天，我们将重点分享常见的挑战，以及factsite和亚马逊云科技的架构如何应对这些挑战。在详细描述这些挑战之前，先简单介绍一下行情数据的消费者主要分为两类:个人消费者和机构消费者。我们今天讨论的挑战，是机构消费者在大规模处理行情数据时所面临的各类挑战。这些应用场景包括:私募基金和公募基金进行量化分析、门户网站展示全球行情走势、在线交易商，以及银行的中后台进行各类风险控制等。这些机构对数据的质量、时效性等方面都有较高的要求。

在这种背景下，根据过往的成功经验，我们总结出了5大挑战，包括:数据格式丛林、网络延迟黑洞、成本控制陷阱、合规和安全体系，以及本地化服务缺失。由于时间和篇幅的限制，我今天主要介绍前3个挑战的应对方式。

首先，什么是数据格式丛林?当一个机构准备进入一个新的市场时，他需要获得该市场的交易数据。以美国市场为例，目前有美股综合行情数据、纳斯达克Basic、纽交所NBQ、CBOE等四种数据。如果你去找这些数据的提供商，他们都会告诉你自己的数据覆盖面最广、时效性最高，但实际上他们会给你一个几百页的数据字典和相应的架构说明书。当你完成开发后，你会发现其中有80%的数据是重复的。如果是东盟10国的市场，你可能需要查阅超过10本数据字典，并做10次接收端开发。

此外，交易所数据会不断升级。比如，印度尼西亚交易所被CME收购后，所有数据格式都要转换为CME格式，作为消费者，我们就需要相应地调整接收端。再如，新加坡交易所引入了午休机制，午盘收盘价不再是全日收盘价，而是上午早间收盘价，这也需要调整接收端。如果之前的开发人员已经离职，你可能需要推翻之前的工作，重新开发一遍。

最大的挑战是，现在的消费者不仅需要行情数据，还需要更多的基本面数据、舆情新闻数据，以及供应链、评级等各类分析数据。这些数据来自第三方机构，格式各不相同，我们称之为“数据丛林”。

在应对数据丛林的挑战时，factsite为客户提供了很大帮助。对于实时数据，我们将一个阅读理解题变成了选择题。客户只需决定要进入哪些市场，然后回答三个选择题:

1.           需要实时数据、延时数据、日终结算数据，还是历史数据(10年、20年或50年);

2.           需要Level 1数据、Level 2数据，还是只需成交明细;

3.           从factsite的非实时数据库中选择需要哪些附加值服务，如指数成份股及权重、公司日历数据、前复权后复权数据、除权因子、基本面数据和新闻舆情数据等。

所有这些数据，我们都可以通过三种频率向客户提供:数据流(适用于对时效性、数据安全和稳定性要求很高的银行中后台或交易类客户)、快照和RESTful API(适用于只需定期查看行情走势的客户)、文件形式(适用于只需查看当天行情走势或测试盈亏的客户)。数据频率越高，时效性越高，成本也就越高。

总之，factsite将全球1，000多家数据源进行了标准化分类和转发处理，提供了一些附加值数据，然后通过亚马逊云科技的云平台发送给最终客户。客户无需再在数据丛林中摸索，只需专注于自己擅长的投资、交易、展示或风控等工作。

除了实时数据，factsite在非实时数据领域也很擅长。我们最出名的是基本面数据和另类数据，如供应链数据等。我们的理念是“一键化”，客户只需通过一个ID就可以访问factsite的全量数据库，快速获取公司的供应链、股东、公告、事件、实时行情等全方位信息，帮助客户快速进入新市场。在这个过程中，我们还会提供各类咨询服务，协助客户融入当地市场。

我给大家讲一个最近一年来成功率很高的案例。有一类客户准备进军东南亚市场，需要获得当地过去三年的全量历史数据，用于回测自己的AI和金融模型。10年前，我们的传统做法是将数据下载到硬盘上，然后通过邮寄的方式发给客户。客户收到后，还需要自己租用机房、建立磁盘阵列，成本很高。

现在，通过factsite和亚马逊云科技的结合，我们所有的历史数据都存储在亚马逊云科技的S3 Bucket上。如果客户也使用S3 Bucket，我们就可以直接从“网盘”推送数据给客户，而且走的是亚马逊云科技的骨干网络，速度非常快。我们曾在三四个月的时间内，为一家客户传输了40多个交易所的Level 3行情数据，数据量达到了PB级别。通过S3，我们可以快速将这份庞大的数据发送给客户。

我们的历史数据服务主要有两种提供方式:S3和Snowflake。Snowflake是我们与亚马逊云科技的合作伙伴，它提供的是SQL数据库，客户无需再进行上传和入库操作。如果客户不想使用SQL，我们也可以通过S3或SFTP直接传输原始文件。我们的大部分历史数据都可以追溯到2012年。

接下来，我们讨论时效性和成本方面的挑战。这两个挑战的主要来源都是数据量。目前，交易所采用的信息发送方式是:每一笔报价发送一条信息，每一次成交撮合发送一条信息。这导致交易所越活跃，信息量就越大。根据我们的统计，即使没有重大历史事件，交易所每年的数据增量也在以30%的速度增长。一旦发生重大事件，如新冠疫情、俄乌冲突或特朗普的一些行为，市场就会出现明显波动，数据量会暴增。

如果使用传统的专线传输模式，你需要指定带宽大小，比如100兆。一旦数据量超过这个带宽许可范围，无论是国内的电信联通，还是海外的BT或Redshift，你只能面对两种情况:丢包或巨大延迟。对于交易类客户来说，这都是不可接受的。如果想克服延迟，客户就必须购买峰值以上的专线带宽，但专线带宽是按尺寸收费的，可能会导致大部分时间带宽被浪费。

factsite采用了亚马逊云科技的PrivateLink解决方案。PrivateLink的优势在于:

1.           起步带宽就是1G，即使是数据量最大的美股综合行情，峰值也只有800M，足以应对;

2.           具有一定弹性，当超过带宽许可时，不会立即停止服务导致丢包或延迟，而是自动跳到下一个档位，继续保持高吞吐量;

3.           即使在特朗普发难期间，每秒8亿条信息，您依然可以在现有延迟情况下全部收到。

此外，我们的架构还为客户带来了真正的轻资产优势。如果客户也在亚马逊云科技上，他们的所有服务器都可以是虚拟的EC2实例，无需在本地租用机房或从传统厂商处拉专线。我们可以直接从亚马逊云科技的可用区发送数据到客户的EC2实例上。当然，如果客户需要，我们也可以通过Amazon Direct Connect在本地连接到他们的机房。

我们factsite的整个架构都基于亚马逊云科技，所有服务器对客户来说都是专属的，而且能够实现全球灵活部署。比如，如果客户需要在香港、东京、新加坡部署服务器，我们都可以做到。如果客户要将新加坡业务迁移到美国，我们也可以在几周内将相应架构复制到美国的可用区。目前，我们有很多国内外的机构客户都在使用这种架构，他们比较认可我们的轻资产和灵活部署优势。

最后，我介绍一下factsite独有的广播API业务模式。传统券商是按使用量收费的，比如美股有1万只股票，你就需要购买1万只股票的订阅数量级。而对于我们factsite来说，美股只有三个交易所:纳斯达克、纽约证券交易所和CBOE，你只需要支付这三个交易所的费用。交易所的股票数量是每天都在变化的，如果突然增加到10，001只，在其他厂商那里你可能就无法订阅了，或者下个月的账单会翻倍。但对于我们来说，无论交易所有多少只股票，对我们来说都是三个交易所，无需统计日常变化。

这主要得益于我们通过亚马逊云科技的架构，对硬件的依赖较小。亚马逊云科技为我们提供了足够的带宽空间，EC2实例的维护和升级也相对经济。如果是传统机房，一旦交易所数据量暴增，我们就需要派人手动加内存条、硬盘或CPU。但在云端，我们可以远程控制，根据数据量的变化随时扩展或缩减资源，既节省了成本，又将这些便利传递给了客户。

根据以往经验，我们总结了一些行业的常见数据需求匹配:

•              对于买方卖方市场，我们提供数据流解决方案，满足其对数据量和质量的高要求;

•              对于量化投资、公募基金和私募基金，我们提供Level 1、Level 3的历史行情数据，或者每日开高低收数据(End of Day)，后者成本较低;

•              此外，我们还有资产管理类、交易类、风险管理类、中后台等其他解决方案。

好的，今天的分享就到这里。如果您还有任何其他问题，我们中国区总经理葛老瑞也在现场，欢迎随时向他咨询。谢谢大家!

总结: 本次演讲主要介绍了factsite如何借助亚马逊云科技的云技术，为客户提供实时数据和历史数据服务，应对数据格式丛林、网络延迟和成本控制等挑战。factsite通过标准化处理数据源、提供附加值数据和咨询服务，帮助客户快速进入新市场;利用亚马逊云科技的S3、Snowflake等服务高效传输大数据;采用PrivateLink和广播API模式，提高带宽利用率、降低成本;基于亚马逊云科技好的，我继续生成剩余的内容:

利用亚马逊云科技的灵活性，factsite实现了全球化部署和轻资产运营。通过与亚马逊云科技的深度合作，factsite不仅提升了自身的服务能力，更重要的是将云计算带来的诸多优势传递给了客户，帮助他们更好地应对实时数据业务所面临的挑战。

factsite与亚马逊云科技的合作关系并不止于此。未来，他们还可以在合规和安全体系、本地化服务等其他领域开展进一步的探索和创新，为客户提供更全面、更优质的服务。

总的来说，亚马逊云科技为factsite提供了坚实的技术基础，使其能够灵活应对实时数据业务中的各种挑战，真正做到“一站式服务，助力客户全球化成功”。这种创新合作模式，不仅造福了factsite及其客户，对于整个金融数据服务行业的发展也具有重要的示范意义。相信在不久的将来，我们一定能看到更多像factsite这样的公司，与亚马逊云科技开展深度合作，共同推动金融科技的创新发展。

下面是一些演讲现场的精彩瞬间：

The speaker enthusiastically greets the audience and introduces the topic of challenges in real-time data business and how factsite can provide support to clients in addressing these challenges.

The speaker explains the concept of a “data jungle，” where organizations entering a new market face the challenge of navigating through overlapping and redundant data sources， requiring extensive effort to understand and integrate the data.

Faksite leverages Amazon S3 buckets to rapidly transfer massive amounts of historical financial data， including Level 3 stock market data， to clients over Amazon’s high-speed backbone network.

如果客户想要克服网络延迟，就必须购买更高昂的专线带宽，但这可能会导致大部分时间带宽浪费。

FactSite’s architecture， built entirely on 亚马逊云科技， offers dedicated servers for clients and enables flexible global deployment， allowing seamless relocation or replication of infrastructure across Amazon Web Services regions within weeks.

FactSite’s innovative cloud-based architecture with Amazon Web Services allows for flexible and cost-effective data subscription， eliminating the need to pay for individual stock counts and enabling seamless scalability.

我们提供多种数据解决方案，包括实时行情数据和日终数据，满足不同客户的需求，涵盖资产管理、交易、风险管理等各个领域。

总结

亚马逊云科技助力factsite应对实时数据业务五大挑战的叙述:

factsite是一家金融数据服务商，通过亚马逊云平台为客户提供全球行情数据和附加值服务。面临的五大挑战包括数据格式丛林、网络延迟黑洞、成本控制陷阱、合规和安全体系以及本地化服务缺失。

为应对数据格式丛林，factsite对全球1000多家数据源进行标准化处理，为客户提供一站式选择和订阅服务，大幅简化了数据获取流程。针对网络延迟和成本问题，factsite利用亚马逊云科技的Privatelink服务和弹性带宽，实现了高吞吐、低延迟和轻资产的数据传输架构。此外，factsite的广播API模式使客户无需关注交易所股票数量变化，只需按交易所付费。

通过与亚马逊云科技的深度融合，factsite为客户提供了灵活、经济、高效的全球化实时数据服务，助力客户专注于投资、交易、展示和风控等核心业务，成功应对了实时数据业务的重大挑战。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。