前言

译自 https://ottertune.com/blog/2021-databases-retrospective/，此文回顾了一下2021年数据库界发生的一些标志性事件，收获颇丰，遂翻译了一下。

Databases in 2021: A Year in Review

对于数据库行业来说，这是疯狂的一年，新来者超越了老一派，供应商们为了基准数据而战，还有令人瞠目的融资。我们还不得不通过收购、破产或撤销等方式来告别我们的一些数据库朋友。

随着年底的临近，在我们进入2022年的时候，值得反思和总结一下。以下是一些重点和我就它们对数据库领域可能意味着什么发表的一些想法。

PostgreSQL的主导地位

开发人员的传统观念已经转变：PostgreSQL已经成为了新应用的首选。PostgreSQL是可靠的，它有许多特性并且仍在稳定增加中。在2010年，PostgreSQL开发团队转而采用更积极的发布计划，每年推出一次新的主版本（H/T Tomas Vondra）。并且不用多说，PostgreSQL是开源的。

PostgreSQL的兼容性是很多系统的一个显著特征。这种兼容性是通过支持PostgreSQL的SQL方言(DuckDB)、通信协议(QuestDB、HyPer)或整个前端(Amazon Aurora、YugaByte、Yellowbrick)来实现的。大公司也加入了进来。谷歌在十月宣布他们在Cloud Spanner增加了PostgreSQL的兼容性。同样在10月，亚马逊宣布了Babelfish功能，可以将SQL Server查询转换为Aurora PostgreSQL。

衡量一个数据库的流行程度是DB-Engine上的排名。虽然排名并不完美并且分数可能在某种程度上是主观的，但对于前10名的数据库系统来说，这是一个合理的评估。截至2021年12月，排名显示，尽管PostgreSQL仍然是第四大最受欢迎的数据库(排在Oracle、MySQL和MSSQL之后)，但在过去的一年里，它缩小了与MSSQL的差距。

另一个需要考虑的趋势是PostgreSQL在网络社区中被提及的频率。这给了我们一个信号，即人们正在讨论何种数据库。我下载了2021年在Database Subreddit板块上发表的所有评论，并计算了数据库名称出现的频率(当然是在PostgreSQL中)。我交叉引用了Database of Databases中所有数据库的列表，清理了缩略语(如Postgres -> PostgreSQL, Mongo -> MongoDB, ES -> Elasticsearch)，然后计算出最常被提及的10个数据库管理系统

     dbms      | cnt 
---------------+-----
 PostgreSQL    | 656
 MySQL         | 317
 MongoDB       | 266
 Oracle        | 222
 SQLite        | 213
 Redis         |  88
 Elasticsearch |  70
 Snowflake     |  52
 DGraph        |  46
 Neo4j         |  42

当然这个排名并不十分科学，因此我不会对评论进行分析。但它清楚地表明，在过去的一年中，人们提到Postgres的次数比其他系统多。经常有开发者发帖询问他们的新应用应该使用什么DBMS，而社区的回复几乎都是Postgres。

Andy’s Take:

最重要的是，关系数据库系统已经成为新开发应用程序的首选，这是一件好事。这表明，从20世纪70年代开始，Ted Codd’s的关系模型具有持久的生命力。其次，PostgreSQL是一个很棒的数据库系统。诚然，它也有已知的问题和黑暗的角落，就像每一个DBMS一样。但是，由于有这么多的注意力和精力集中在它身上，PostgreSQL在这些年里只会变得更好。

基准测试的斗争

今年，不同的数据库供应商对基准测试结果已经无爱了。供应商试图表明他们的系统比竞争对手的系统快，这可以追溯到20世纪80年代末。这就是为什么TPC的建立是为了提供一个中立的组织来主持测试比较的工作。但是，随着TPC的影响力和普遍性在过去十年中的减弱，我们现在发现自己处于新一轮的数据库基准战争中。

今年有三场因基准测试结果而升温的斗争。

Databricks vs. Snowflake

Databricks宣布他们新的Photon SQL引擎在100TB TPC-DS上创造了新的世界纪录。Snowflake予以回击，称其数据库的速度是原来的两倍，Databricks对Snowflake的运行是错误的。Databricks反驳说，他们的SQL引擎提供了优于Snowflake的性能和价格。

Rockset vs. Apache Druid vs. ClickHouse

ClickHouse大摇大摆地走出来，称与Druid和Rockset相比，它的成本效益很好。但没有那么快：暗示用一个新版本的Druid测试做出了回应，并宣布胜利。Rockset也表示，在实时分析方面，其性能优于其他两家公司。

ClickHouse vs. TimescaleDB

趁乱打劫，Timescale也加入了争斗。他们发布了自己的基准测试结果，并借此机会指出了ClickHouse技术的弱点。关于第三方基准的讨论在Hacker News上愈发激烈。

Andy’s Take:

在之前的基准测试领域之争中[1] [2] [3]，数据库社区已经流了太多血了。我完全承认，我曾经在这个游戏中。但是我已经在街头失去了太多的朋友。我甚至因为马虎的基准测试结果而和女朋友分手过一次。随着我年龄的增长，我现在可以说不值得了。现在比较数据库系统就更难了，因为云DBMS有很多活动部件和可调整的选项，往往很难确定性能差异的真正原因。真正的应用也不仅仅是一个接一个地运行相同的查询。摄取、转换和清理数据时的用户体验与原始性能数字一样重要。而且，正如我在这篇关于Databricks的基准测试结果的文章中告诉记者的那样，只有老人才会关心官方的TPC数字。

Big Data, Big Money

自2020年下半年以来，价值至少1亿美元的风投数量一直在稳步增长。2020年，此类大型交易有327笔(略低于风投总交易量的一半)。截至2021年1月，有100多轮风投支持的投资，价值1亿美元以上。

2021年，大量投资投向了数据库公司。在运营数据库方面，CockroachDB在年初以1.6亿美元的融资拔得头筹，并在2021年12月以2.78亿美元的融资结束了融资。Yugabyte在C轮融资中获得了1.88亿美元。PlanetScale为他们的托管版Vitess在B轮融资2000万美元。相对较老的NoSQL老牌公司DataStax也为其Cassandra业务筹集了3760万美元的风投。

尽管这些数字令人印象深刻，但分析数据库市场甚至更加火爆。TileDB于2021年9月筹集了一笔未披露金额的资金。Vectorized.io为他们的Kafka-compatible streaming platform筹集了1500万美元。StarTree宣布将投资2400万美元将Apache Pinot商业化。

Matviews-on-steroids DBMS Materialize宣布，他们的C轮融资获得了6000万美元。SingleStore在2021年9月筹集了8000万美元，使他们离上市又近了一步。年初，Starburst Data为其Trino系统（以前的PrestoSQL）筹集了1亿美元。Firebolt是另一家走出隐身状态的DBMS初创公司，宣布他们为其基于ClickHouse分叉的新型云数据仓库筹集了1.27亿美元。一家新公司ClickHouse, Inc.筹集了惊人的2.5亿美元，以围绕该系统建立一个新公司（以及从Yandex获得使用ClickHouse名称的权利）。

Andy’s Take:

我们正处于数据库的黄金时代。今天有这么多优秀的选择。投资者正在寻找能够成为下一个Snowflake的IPO的数据库初创企业。这些筹款金额比以前的数据库初创公司要大。例如，Snowflake直到其D系列才有一轮超过1亿美元的融资，那是在公司成立五年后。Starburst在成立不到三年的时间里就完成了1亿美元的融资。现在，在融资方面有很多因素（例如，Starburst团队在分拆之前在TeraData从事Presto的工作多年），但我感觉这些天有更多的钱被扔了出去。

缅怀

遗憾的是，在过去的一年里，我们和一些数据库的朋友说了再见。

ServiceNow收购Swarm64

该公司一开始从一个在PostgreSQL上运行分析工作负载的FPGA加速器出身。然后他们转而成为一个使用扩展的PostgreSQL的纯软件加速器。但他们未能获得吸引力，特别是在与其他资金雄厚的云数据仓库的竞争中。在收购ServiceNow之后，Swarm64产品是否会继续下去，仍然没有消息。

Splice Machine倒闭

Splice正在推动一个混合（HTAP）的DBMS，它将HBase用于操作工作负载，Spark SQL用于分析。他们随后推动为操作/实时ML应用提供一个平台。但是，由于专门的OLTP和OLAP系统占主导地位，多合一的混合系统未能在数据库市场上取得进展。

私募股权公司收购Cloudera

自从上个十年的后半期世界远离了MapReduce和Hadoop技术，Cloudera就没能在云数据仓库市场有同样的吸引力。Impala和Kudu的大部分原始工程团队已经离开了公司，尽管这些项目仍在开发并推出新版本。该公司的股票已经跌到了2018年的IPO价格以下。它的新投资者是否能够扭转公司的局面，还有待观察。

Andy’s Take:

看到另一个数据库项目或公司倒闭总是让人难过，但这就是数据库行业的血腥本质。开源有可能帮助数据库管理系统比创建它的公司更长久，但并不总是如此。由于其复杂性，数据库需要全职工作人员来修复错误和增加新功能。将一个已停用的DBMS的源代码权利和控制权转移到一个开源软件基金会，如Apache基金会或CNCF，并不意味着该项目将神奇地复苏。例如，RethinkDB在公司破产后被捐赠给了Linux基金会，但从Github上的所有迹象来看，他们已经死在了水里（提交量很少，PR没有被合并）。这种情况的另一个例子包括DeepDB：该公司失败了，并为代码创建了自己的非营利基金会，但没有人在上面工作。我预计明年会有更多的数据库公司倒闭，它们无法与主要的云计算供应商和上面列出的资金充足的初创公司竞争。

毅力的见证

对许多人来说，这场大流行病是一个艰难的时刻。新闻中报道了这么多可怕的事情，当一个令人振奋的故事发生时总是很好。正如你们中的许多人所知，甲骨文公司的联合创始人Larry Ellison 最近几年一直在倒霉。早在2015年，Larry感觉不错，因为他是世界上第五大富豪。但沧海桑田，拉里在2018年的亿万富翁排名中跌落到了第10位的低位。

但这种情况在2021年12月发生了变化，Larry Ellison超过了谷歌联合创始人Larry Page和Sergey Brin，排名上升，再次成为世界第五富豪。2021年12月，Larry Ellison单日赚了160亿美元，此前由于宣布企业盈利好于预期，甲骨文公司的股票在过去20年中单日涨幅第二高。新闻媒体将其归结为投资者的信心增强，认为甲骨文向云计算的转变正在发挥作用。

Andy’s Take:

Larry Ellison和我是老相识了，这对数据库界和整个人类来说当然是一个温暖人心的故事。当他作为世界上第10位最富有的人而倒霉的时候，他可能会感到有点忧郁。但我很高兴看到，他能够把自己从阴沟里拉出来，重新回到属于他的上市。