数据库服务器的NUMA优化问题
早期的SMP架构的服务器CPU和内存配置都不多,因此CPU通过总线访问内存就可以了,随着硬件的发展,内存从MB级别已经达到了TB级别,而CPU也从单颗CPU1-2核变成了数十核,甚至上百核的庞然大物。因此传统的UMA中的总线就成为瓶颈了。
大模型加持下的AIOps如何落地?
上星期发过一篇关于AIOPS的最后一公里的文章,主要观点是OPS需要确定的回答,而AI给出的泛化分析不能满足OPS的需求。需要通过“知识自动化”来补齐这最后一公里。
2024企业数字化转型应回归理性
2023年即将过去,这一年与圈内朋友交流,大部分都是摇头叹息,看的出来大家的数字化做的异常艰难,企业受市场影响削减了数字化的投入
从传统BI到LakeHouse,数据架构的演变【案例】
A公司是一家科技初创企业,其数据领域却是按照传统的商业智能框架开始的,A公司数据架构基于批量ETL(提取、转换和加载)管道来提取和处理数据;操作数据存储(ODS)作为暂存区域和最终数据仓库结构,细分为数据集市,以支持决策过程。
企业数字化转型一定要做重构吗?
企业数字化转型建设是一个复杂的体系工程,但当前大部分的传统企业做数字化由于前期缺乏规划性、专业性,都是在不断试错、不断的摸索中前行,所以造就了大量的系统孤岛、数据孤岛
从工程视角看迈向数据网格架构的六大问题
数据团队希望快速回答所有这些问题。然而,在实践中,他们遇到了困难,因为在操作数据库发生更改后,他们需要花费太多时间来修复损坏的数据管道。
当动态伸缩无法实现时,很多优秀架构就只剩下复杂性了
与传统IT基础设施相比,云平台,容器化的IT基础设施在平台层面上的复杂度都是超级的,大多数使用者都无法完全掌握,甚至连有效的优化与管理都无法胜任。
谈谈现代组织如何构建数据治理
随着现代数据堆栈的兴起,所有业务数据现在都集中到云数据湖和数据仓库中。这使得团队可以更轻松地连接和分析不同的数据集,无论是产品、营销、销售还是财务数据。但它也可能给组织中负责制定数据治理策略的人员带来挑战。
对待数据质量的28个原则
作为数据工程师或数据架构师,您负责设计和构建存储和处理为您的组织提供支持的数据的基础设施。但您是否曾想过将您的数据视为犯罪现场?在本文中,我们将探讨这种方法为何有益,以及如何在自己的工作中实施它。
破解分布式库使用难点:数据分片策略
随着分布式数据库日渐成熟,在推广使用上开始步入深水区。在这一过程中,对企业的架构、运维、开发都带来不小的冲击,如何快速掌握这一新技术,尽快落地成为大家关注的焦点。
谈谈数据资产融资的价值影响和实现路径
数据资产通常是由公司以数字信息的形式存在的无形资产。这些数据包括供应商数据、客户数据(匿名数据,如购买历史、平均交易收入和点击率)、广告数据和忠诚度计划
详解数据处理的六步骤
数据处理是指对采集到的实时或历史数据进行整理、清洗、分析和转化的过程。数据处理是数字应用的基础,它将原始数据转化为有意义的信息,用于模型构建、仿真和决策支持。
干货 | 携程酒店基于血缘元数据的数据流程优化实践
元数据MetaData狭义的解释是用来描述数据的数据,广义的来看,除了业务逻辑直接读写处理的那些业务数据,所有其它用来维持整个系统运转所需的信息/数据都可以叫作元数据。
如何最简单、通俗地理解GPT的Transformer架构?
本文将以一种简单、通俗的方式解释Transformer模型的基本原理。无论您是AI领域的新手,还是对最新技术保持好奇的专业人士,您都会发现这里的内容既有启发性又易于理解。
数据要素形势下,组织加速数据生产力亟需6大转变
数字经济是当前时代的重要特征,也是国民经济的重要制度,更是社会发展的新方向。因此,必须加速数据生产力,让数据这一要素的价值更大化的增加社会福祉和企业竞争力,全力实现数字经济健康快速增长。
数字化时代企业需要的是进化能力
今天为什么要谈“进化”这个词,源于周末参加了本地的一个CIO沙龙活动,休息期间与几位好友一起谈论当前的数字化转型,无外乎都是一个“难”字
当数字化遇到转型为什么会变得如此复杂
当前各种数字化技术在不断刷新着人们的认知,同时也在不断提升着生产力,改变着各种生产关系与商业模式,所以在当前时代打败企业的可能就是对手采用了技术这个核心生产力,在某些场景下数字化可明显提升企业的生产力,降低成本,但一旦涉及到管理场景,数字化就变得复杂起来,这种复杂化就体现在企业数字化+转型期间。
谈谈保护敏感数据的最佳实践
本文阐述了与数据安全和隐私成熟度的主要阶段相一致的最佳实践。据了解,组织及其数据安全和访问控制需求并不是静态的。因此,方法随着内部流程、团队和技术的发展和改进而进步。
什么是 True Cache?
Cache技术是近些年数据库应用领域方面的一项热门技术。早期的应用系统中可能存在一些热数据的访问,这些查询十分频繁,给数据库增加了巨大的负担。
2023企业数字化转型能力报告
老杨从战略规划能力、组织能力、实施应用能力、业务能力、资金投入能力等几个方面总结了套数字化能力调研表,对全国各地企业的数字化转型能力进行摸底调研