ITPub博客

开源技术的发展是一个不断演化的过程，需要适应新技术和市场变化，不断改进开源治理体系。

分区是实现负载均衡以及高吞吐量的关键，故在生产者端我们需要仔细盘算合适的分区策略，避免造成消息数据的倾斜，使得某些分区成为性能瓶颈，这样极易引发下游数据消费的性能下降。

到2023年，中国的数据量将达到40ZB。数据仓库作为数据密集、计算密集的数据集中处理平台，是数据承载、数字化转型不可或缺的一环。

通过数字经济的加速发展，可以有效推动企业数字化转型的步伐。云计算作为数字化转型的底座和重要的载体，在企业中大规模的部署。

基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用，其应用场景和客户案例也在不断地丰富与扩充。

技术发展由原来的头部厂商推动转变为开源社区推动。这就意味着我们获取关键技术的方式发生了根本性变化，银行IT不能再完全依赖头部厂商实现关键基础技术的进步。

数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

就在本月 5 号，Bard 和 Google Workspace 同步更新了一则新闻，宣布 Workspace 的团队用户即日起可以申请体验由 Bard 大模型驱动的生成式 AI 工具。

企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，大多数的大数据项目通常都以失败告终。

不要将数据储存在容器中，这也是 Docker 官方容器使用技巧中的一条。容器随时可以停止、或者删除。当容器被rm掉，容器里的数据将会丢失。

通过分析 Kubernetes 部署的图形，组织还可以识别瓶颈并优化工作流程的流程。如果基于图形的分析显示特定的 Pod 经常导致超时或错误，组织可以调查原因并采取措施予以纠正。

Kubernetes 已经发展成为全球最庞大、最受欢迎的开源项目之一，成为全球各地构建云原生应用的首选 API —— 然而，它差点儿甚至不是一个开源项目。

Databricks 今天宣布收购了 Okera，这是一个专注于 AI 的数据治理平台。两家公司没有透露交易价格。

Kubernetes 成本管理和优化亟需得到系统管理员的重视。本文我们将了解6个优化 Kubernetes 成本的策略和方法。

如何在大型集群中加快节点上的 Pod 启动?这是企业集群管理员常常会面临的问题。

Rocky Linux和AlmaLinux都是由CentOS创始人推出的Linux发行版，旨在填补CentOS在2020年12月宣布将在2021年底停止支持的空白期。

从 IT 定位来说，湖仓一体核心内容就两块，一个是更强的管理能力，另一个就是更强的OLAP性能，未来网易会在这两个方面继续增强。

数据仓库可对异构源数据进行有效集成，面向数据分析场景，支持全局信息共享和决策分析处理，充分释放数据价值，助力构建数据要素市场。因此，金融数据仓库的构建成为大多数银行的战略性选择。

近年来，Serverless 服务崛起的趋势有目共睹，华为云、AWS、Google 等头部厂商亦纷纷推出 Serverless 产品。Serverless 解放了用户管理和使用复杂云计算资源的双手，犹如第二次工业革命中内燃机汽车的出现解决了马车夫养马的麻烦，也推动高效、稳定的交通工具走进寻常百姓家。

裸机部署可以最大化的利用硬件资源，提高系统的运行效率和性能。同时也可以减少虚拟化层次的影响，提高系统性能和可靠性。但是裸机部署需要投入更多的时间和精力进行管理和维护，相对于虚拟化平台成本较高。