Estuary 通过定向回填和可扩展发现扩展 PostgreSQL CDC

Estuary 发布了其 PostgreSQL 变更数据捕获（CDC）连接器的多项更新，重点涉及回填恢复、大规模发现和模式变更检测。

定向回填

PostgreSQL 捕获绑定现在支持 Additional Backfill Filter，允许将 SQL 表达式应用于单个表的回填查询。

当只需要恢复或重新回填大型 PostgreSQL 表的一个子集时，这可以减少需要重新读取的数据量。例如，团队可以使用带索引的标识符或时间戳来限制恢复回填中包含的行。

该过滤器仅影响回填。正在进行的 PostgreSQL CDC 会独立于该过滤器继续捕获新变更。

由于 SQL 表达式直接应用于回填查询，这是一个高级选项，应谨慎配置。更改过滤器需要再次回填受影响的绑定。

Estuary 还添加了 PostgreSQL 发现过滤器，允许捕获控制在连接器发现期间显示哪些表。

这些控制项适用于拥有大量 schema 或表、且只有部分数据库应参与 CDC 管道的 PostgreSQL 环境。

表元数据发现也会以更小的分组进行处理，以提高在处理包含大量表的数据库时的可靠性。

PostgreSQL 捕获现在可以配置在捕获活动期间 Estuary 重新运行发现的频率。

重新发现用于检测新增表和 schema 更新等变更。默认间隔为 15 分钟，可根据需要更快或更少频率发现的环境进行调整。

这使 PostgreSQL 运维人员能够更好地控制 schema 变更检测延迟与目录查询活动之间的权衡。

Estuary 的 PostgreSQL 源连接器使用逻辑复制从 PostgreSQL 预写日志（WAL）中捕获插入、更新和删除操作。

当新的捕获启动时，Estuary 可以先回填所选表的现有内容，然后过渡到持续的 CDC。新的回填和发现控制项为在大型 PostgreSQL 环境和恢复场景中操作此过程提供了更多选项。

PostgreSQL CDC 连接器支持 PostgreSQL 10.0 及更高版本，涵盖自托管 PostgreSQL 和托管 PostgreSQL 服务。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。