截止到今天为止，网易云音乐实时计算平台的机器数量有150多个，运行任务有700个，数据峰值的QPS有400万。李涵淼透露道，“大概有180多个开发者在用这个实时计算平台。”
在业务覆盖层面，跟实时有关的基本是全覆盖，包括实时报表、实时特征、实时索引，以及实时业务等。实时计算平台是从2018年上半年开始做的，期间经历了两个版本的迭代，直到2020上半年，任务增长了将近200%。
网易云是基于1.7的版本，做的实时计算平台version-1设计。大家都知道，Flink已经更新到1.11版本了，它集成了很多Blink的优秀特性。在被阿里收购以后，Flink从1.9版本开始，每一个版本迭代，代码的改动都是非常多的。
因为社区版本的Flink 1.7不支持SQL DDL，所以为了方便用户的使用，我们基于Antlr的自定义SQL语法，包含DDL和维表JOIN。此外，实时平台的第一版本没有数据血缘追踪功能，问题定位的时候比较困难。
实时平台的第一版本没有元数据管控，Jar任务的游离。它的任务监控是不健全的。当问题出现的时候，我们收集的指标不足以定位问题。现在来看，实时平台第一版本的问题是非常多的。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69986194/viewspace-2729659/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
没有了~
请登录后发表评论
登录
全部评论
