ITPub博客

大数据处理涉及处理和分析大型复杂数据集的技术和技术。“大数据”通常指的是传统数据库和处理工具无法处理的数据集。 例如：应用程序日志、用户交互日志：这些大数据用于分析用户互动、偏好和行为，以改进内容推荐算法并提升用户参与度。 各种组件共同工作以处理、存储和分析这些大型数据集。这些组件共同形成一个大数据处理生态系统。

这也从侧面反映出一个问题，那就是：针对大数据量时，这3个工具对 Doris 表的全表读取默认策略还不够友好，或者说这个过程还有很大的优化空间。 同时也进一步说明，一些所谓的解决方案，在遇到真正的大数据量时，都显得那么的脆弱无比，不堪一击。

我们都知道，Elasticsearch 的核心技术实现，就是用的倒排索引，而它的好用程度也早就在工业界得到了验证，是一款非常成功的，将倒排索引这个技术落地的开源软件。 至于2.0之后，Doris 也引入了这个倒排索引功能，好不好用，那么今天这篇文章，咱一起来测试验证一番。

本文整理自蚂蚁集团实时计算组技术专家闵文俊在 FFA 2023 核心技术（一）中 的分享，内容关于蚂蚁流场景状态演进和优化的研究，主要分为以下三部分： 1. 状态后端的演进 2. 优化与适配 3. 未来展望

做流批一体，湖仓一体的大数据架构，常见的做法就是： 数据源->spark Streaming->ODS（数据湖）->spark streaming->DWD（数据湖）->... 那么数据源->spark Streaming->ODS，以这段为例，在数据源通过spark structured streaming写入ODS在数据湖（Delta Lake)落盘时候必然会产生很多小文件。

你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。

Flink ML 概况 在线学习的设计与应用 在线推理的设计与应用 特征工程算法与应用

消息队列的作用：异步、削峰填谷、解耦 中小型公司，技术挑战不是特别高，用 RabbitMQ （开源、社区活跃）是不错的选择；大型公司，基础架构研发实力较强，用 RocketMQ（Java二次开发） 是很好的选择。 如果是大数据领域的实时计算、日志采集等场景，用 Kafka 是业内标准的，绝对没问题，社区活跃度很高，绝对不会黄，何况几乎是全世界这个领域的事实性规范。

也不知道是从哪听说的这个名字，可能是某篇文章，或者是群里哪个小伙伴偶然提到了这么一嘴，第一次看到时，把我愣了一下，因为之前用过一款可以用来管理和监控 Elasticsearch 的软件，叫「Cerebro」，这两长的那叫一个像啊，第一反应还以为这玩意推出新功能了呢。 定睛一看，原来是搞错了，网上一查，说 Celeborn 是一款专门为计算引擎的「shuffle」功能提速的软件，居然还可以这样。 这一下子就激发了我想测试一把的冲动。

直播公会是指从事网络直播表演的组织、制作、营销等经营活动和主播的签约、推广、代理等经纪活动的机构。 B站为外部公会提供了主播全生命周期的管理系统，包含主播的入退会管理、主播营收数据分析、主播开播看播数据分析、直播监控、营收账单结算等功能子模块。 同时为了鼓励、引导外部公会有针对性的对潜力主播进行孵化扶持，公会系统协同B站内部多业务方，提供一系列业务激励、流量策略，满足公会日常运营需求。

大数据技术的发展历程展示了人类智慧的薪火相传。从关系型数据库到分布式计算、分布式存储，再到数据处理和分析工具的涌现，每一次突破都推动着大数据的发展。然而随着大数据的不断演进，仍面临着诸多挑战，如数据质量、隐私保护和伦理道德等。未来我们期待更多创新的技术和方法出现，助力大数据技术持续发展，为人类创造更美好的未来。

在处理日志数据时，我们经常面临将非结构化文本转换为结构化数据的挑战。 Logstash 作为一个强大的日志管理工具，提供了一个名为 Grok 的过滤器插件，专门用于解析复杂的文本数据。 后文会解读，功能远不止于此......

你不得不承认，在当下咱们这种浮躁的技术氛围下，总有那么一小撮人，喜欢时不时给你造出一些体现所谓「创新」、「新潮」、「高逼格」的技术词汇。

摘要：本文整理自曹操出行实时计算负责人林震基于 Hologres+Flink 的曹操出行实时数仓建设的分享，内容主要分为以下六部分： 1. 曹操出行业务背景介绍 2. 曹操出行业务痛点分析 3. Hologres+Flink 构建企业级实时数仓 4. 曹操出行实时数仓实践 5. 曹操出行业务成果分析 6. 未来展望

2023 哪个网络词最热？我投“生成式人工智能”一票。过去一年大家都在拥抱大模型，所有的行业都在做自己的大模型。就像冬日里不来件美拉德色系的服饰就会跟不上时代一样。这不前段时间接入JES，用上好久为碰的RestHighLevelClient包。心血来潮再次访问Elasticsearch官网，发现风格又变了！

当实现方案变得非常复杂，涉及性能问题时候，数据量少都没有问题；数据量大后，可以考虑找其他方案。

本文整理自阿里云 Flink 存储引擎团队李晋忠，兰兆千，梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究，内容主要分为以下五部分： 1. 流计算状态访问的痛点 2. 企业级状态存储引擎 Gemini 3. Gemini 性能评测&线上表现 4. 结语 5. 参考

在 Elasticsearch 中，可以使用 Painless 脚本来实现一些非标准的处理结果。这些脚本可以直接嵌入到数据处理管道中，但为了使脚本与管道相互独立，还可以将脚本单独存储在 Elasticsearch 中，并在数据摄取管道（Ingest pipeline）中按需调用它们。

这不前不久 Flink 官方发出喜讯，说Flink CDC 3.0 release 了，从官方介绍来看，相较以往的版本有比较大的改变。

至于 Paimon 跟 Spark 之间配合的默契程度如何，咱们今天就给它“跑起来”，看看实际效果如何？ 还是老规矩，咱通过 Spark structured streaming 实时读取 kafka 数据，然后以流方式写入 Paimon 表来进行测试。