ITPub博客

接下来，本文将对Amiya架构、功能模块、效果等方面进行详细阐述。

在数据仓库中，维度表是与事实表相对应的表，维度表是维度建模的基础和灵魂。

基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考，探索了基于数据湖的 Flink SQL 流批一体的实践，在流批一体 SQL 表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。同时，欢迎大家多分享具体实践，一起共筑新的数据实践方式。

本文整理自 bilibili 大数据实时团队资深开发工程师周晖栋，在 Flink Forward Asia 2022 实时湖仓专场的分享。

数据仓库的建设实施和落地需要团队中不同成员的参与和配合，需要各种各样的规范，规范的分层定义和表命名能让使用者轻而易举地明白该表的作用和含义。因此本文档重点介绍分层规范和可落地的表命名规范。

这是一篇星球 Kafka 运维专栏的内容，分享给大家，如果大家对 Kafka 感兴趣，可以考虑我们星球，专注消息中间件方向，文末有优惠券，下面开始正题。

Terms Set查询是Elasticsearch中一种强大的查询类型，主要用于处理多值字段中的文档匹配。 其核心功能在于，它可以检索至少匹配一定数量给定词项的文档，其中匹配的数量可以是固定值，也可以是基于另一个字段的动态值。这种查询方式在处理具有多个属性、分类或标签的复杂数据时非常有用。

本文整理自阿里云开发工程师，Apache Flink Contributor 钟旭阳，在 Flink Forward Asia 2022 生产实践的分享。

无意间发现我们 Kafka 管理平台的服务的 open files 和 CPU 监控异常，如下图，有一台机器 CPU 和 opfen files 指标持续在高位，尤其是 open files 达到了4w+。

本文整理自阿里巴巴开发工程师罗宇侠、阿里巴巴开发工程师方盛凯，在 Flink Forward Asia 2022 流批一体专场的分享。

最近hive函数用的比较多，所以给大家做了一下汇总。

Flink 作为流批一体计算引擎，给大家提供了统一的 API，统一的算子描述，以及统一的调度。但 Flink 算子的底层仍有一些细微的差别。

数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据结构和它们之间的关系”，最能够说明数据模型的重要性。

ES是最为流行的大数据日志和搜索解决方案，但是近几年来，它的江湖地位受到了一些挑战，许多公司已经开始把自己的日志解决方案从ES迁移到了Clickhouse，这里就包括：携程，快手等公司。

本文整理自易车数据平台负责人王林红，在 Flink Forward Asia 2022 数据集成专场的分享。

Q1：Logstash 同步 postgreSQL 到 Elasticsearch 数据不一致。 Q2：mq 异步双写数据库、es 的方案中，如何保证数据库数据和 es 数据的一致性？

本文整理自阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江和阿里云高级研发工程师，Apache Flink Contributor & Flink CDC Maintainer 阮航，在 Flink Forward Asia 2022 数据集成专场的分享。

今天分享几个 Flink1.17 最新版本中常见的一些 SQL 函数的使用方式。

大数据面试中kafka也是我们必须熟知的一项技术，球球为大家联合gpt4整理了一些常见的Apache Kafka面试题，这些问题可以帮助您了解Kafka的基本概念和使用方法。请注意，这些问题只是为了帮助您准备面试，实际面试中可能会有不同的问题。请务必熟悉这些问题的答案，并准备好回答面试官提出的其他相关问题。祝您面试成功！

互联网公司发展到一定阶段，各种场景的数据需求会越来越多，业务通过数据进行快速迭代、决策，已成为各家互联网公司必备的能力。要解决猛增 数据的清洗 以及 海量历史数据的加工，势必要引入大数据能力。B站是 09 年成立的互联网公司，但整体大数据体系的建设相对较晚，17年成立大数据团队，19年才开始规模化的建设，随着公司快速发展，数据规模也在爆发式的增长。