-
编辑 删除
Doris的json解决方案，能否干过Clickhouse？
带着这些对 CK 的不满跟遗憾，这一次，我们把目光挪向 Doris，看它在面对相同场景时，能不能给我们带来更多的惊喜呢？
-
编辑 删除
数据源的schema老变，如何存储——(Clickhouse篇)？
Clickhouse(CK)、Doris、Elasticsearch，都支持对 json 数据的存储和查询。由于这3种数据库，在理论上都能满足当前的这个需求，那我就准备做一个系列性的测评，在摸清楚它们3，各自如何搞定这个问题的同时，也能找出最符合你胃口的方案。
-
编辑 删除
Spark跟Flink的聚合状态恢复，谁能保证精确一次性？
通过彼此的 checkpoint 来恢复数据，从最终的恢复效果来看，在没有采取其他任何辅助措施的情况下，Flink 跟 Spark 都不能实现数据的「精确一次性」。
-
编辑 删除
如何使用Apache Kafka处理1亿用户的大型应用程序
Apache Kafka的架构和功能使其成为需要处理1亿或更多用户的应用程序的绝佳选择。通过有效管理高容量数据流，确保可靠性和可扩展性，并支持解耦的事件驱动架构，Kafka使应用程序能够扩展以满足庞大用户基础的需求。然而，在这种规模上利用Kafka也需要仔细的规划、监控和管理，以解决相关挑战并确保系统的弹性和性能。
-
编辑 删除
Flink的精确一次性消费，真的能保证吗？
那作为一个喜欢给那些「高大上」技术祛魅，热衷扯掉它们身上「遮羞布」的人，今天咱就来实地演示一下，这个 Flink 的 EXACTLY_ONCE 模式，到底有没有一些人认为的那么神？
-
编辑 删除
Flink+Paimon+Hologres 构建实时湖仓数据分析
本次分享将为大家介绍 Flink + Paimon + Hologres 构建湖仓一体数据分析。Hologres 是阿里云自研一站式实时数仓产品，通过和 Paimon 的深度合作，提供分钟级/秒级时效性+秒级 OLAP 性能，实现流式湖仓的分层建模，降低开发运维成本，打破数据孤岛，实现业务洞察。内容主要分为以下五部分：
-
编辑 删除
注意：Kafka 的这 6 个场景会丢失消息！
我们使用 Kafka 的时候，怎样能保证不丢失消息呢？今天来聊一聊这个话题。
-
编辑 删除
Kafka架构最全详解(图文全面总结)
Kafka是非常重要的消息中间件，在大型架构、以及大厂都有非常广泛的应用，本篇就重点谈谈Kafka的架构
-
编辑 删除
Flink跟Spark流状态聚合这个坑，你趟过没？
由于上次测试的数据有四百多万条，虽然量不大，但是如果想彻查出问题，并把问题通过文章给大家演示出来，难度依然比较大。 于是，就想着，既然只是体现最终聚合的结果不准，那咱把测试的数据量再给减少点演示，效果是一样的。
-
编辑 删除
Spark 对比 Flink 写 Elasticsearch，谁更牛逼？
对于这次将8亿+的 HDFS 数据全部写入到 ES，Flink 跟 Spark 的执行时间如下： 1. Flink 总耗时：14小时24分； 2. Spark batch 总耗时：17小时54分； 3. Spark streaming 总耗时：17小时48分。 从对比结果来看，基于当前场景，Flink 的执行效率，明显要比 Spark 高一些。
-
编辑 删除
Flink写ES，SQL跟DataStream API，哪个更恼火？
今天，咱就准备把这份8亿+的 HDFS 数据，尝试用 Flink 给写入到 ES 中，看整个过程又会不会出现什么幺蛾子？ 这不出意外的话，意外，它就来了。
-
编辑 删除
Doris 亿级大表非导出不可，有哪些可行办法？
今天，我决定分别用 Doris 内置的数据导出方式，以及通过 Flink 调整参数后的方式，来再次进行测试，看问题到底是不是出现在这里。
-
编辑 删除
Doris跟Clickhouse亿级数据导出，谁更费劲？
想到这，既然 Doris 满足不了这个大数据量的导出，那试试用 Clickhouse(下称CK) 呢，是不是也会这么矬？
-
编辑 删除
看似简单的SQL，实则就是简单
昨天加班遇到一个SQL问题，本想把别人的SQL改下成SparkSQL，在YARN上运行，然而数据一直对不上，然后故事就来了。
-
编辑 删除
小红书离线数仓提效新思路，提升百倍回刷性能
数据处理效率一直是大数据时代的核心话题，它推动着各类数据执行引擎持续迭代产品。从早期的 MapReduce，到今天的 Spark，各行业正不断演进其离线数仓技术架构。
-
编辑 删除
clickhouse使用心得
clickhouse目前用在实时BI后台，只要数据稳定落库了，出报表很快，临时查询也很快，在使用过程中，对它的一些优点和不足也是深有体会，这里总结一下，不能做到面面俱到，但尽可能详细的介绍实际应用需要注意的问题和应用技巧。
-
编辑 删除
Elasticsearch 悬挂索引解析与管理指南
今天，我将分享一次处理集群状态为RED，原因为DANGLING_INDEX_IMPORTED 的实战经验，深入探讨悬挂索引的定义、产生原因、管理方法，以及如何有效处理它们，确保读者能够明白并解决自己面临的问题。
-
编辑 删除
用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践
Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。 尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。 今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。
-
编辑 删除
用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践
Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。 尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。 今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。
-
编辑 删除
Clickhouse 的奇葩存储机制，你注意到没？
虽然说，CK 的数据存储机制非常的丰富，且强大。但是呢，在我看来，它颠覆了以往我们对数据库多目录配置的使用习惯。 在便利性上，会多少让人有些不适，也进一步提高了使用者的门槛，需要时间去适应。 那么对于 CK 的这种多存储策略配置方式，你怎么看？
