B 站基于 Iceberg 湖仓一体优化实践及智能化管理平台的助力
本文整理自向阿鲲在DTCC2022大会上关于“B站基于Iceberg湖仓一体优化实践及智能化管理平台的助力”的主题演讲,主要介绍了Iceberg 湖仓一体项目在B站的落地实践,Iceberg 湖仓一体的内核优化,智能化管理平台的背景、意义与实践,以及未来展望。
数据中台产品,如何进行联合项目推动?
随着数据中台基础建设的晚上,中台产品的工作重点不仅仅是在功能建设上,更多是侧重提供数据解决方案。那要想更好地沉淀数据解决方案,则需跟业务方进行紧密合作,深入了解业务。
谈谈2023年10个大数据建设趋势
从数据库即服务(DBaaS)到自然语言处理,大数据分析的海啸已经动摇了技术行业的基础。根据凯捷调查,27%的企业高管表示企业的大数据计划是有益的。
数据库周盘点:NOTAM故障导致美航班停飞;达摩院发布2023年十大科技趋势
上周,NOTAM故障导致美航班停飞,给IT运维人员带来警醒,不少国内公司希望从NOTAM事故中能吸取经验教训;达摩院发布2023年十大科技趋势,提到软硬融合云计算体系架构; Apache Doris全球企业用户规模已超 1000 家……
2023年CIO们要做什么?怎么做?
新的一年企业的数字化转型将做什么?如何做?最重要的是当计划赶不上变化时该如何应对?如何体现数字化的价值将是CIO们2023年重点考虑的内容。
再分享两个小问题变成大故障的案例
从今天举的这两个例子中可以看出,大部分的类似事故的发生都与运维团队在处置问题的过程中缺乏资深的专家支持有关。DBA在做超出其认知能力的操作时,往往就会因为考虑不周或者错误的认知而犯更大的错误,从而引发更大的问题。
NOTAM故障给我们的警示
上周三美国FAA NOTAM系统导致了数千航班的延误,一千多航班取消,这件事在国内被疯狂炒作。NOTAM是美国联邦航空管理局用于报告航空异常事件的系统,包括空域封锁、恶劣天气、跑道关闭等。
基于数据二十条至少应建立8类数据基础制度
数据基础制度建设事关国家发展和安全大局。构建数据基础制度的目的是充分发挥我国海量数据规模和丰富应用场景优势,激活数据要素潜能,做强做优做大数字经济,增强经济发展新动能,构筑国家竞争新优势。
谈谈2023年数据治理的5大趋势
2023年数据将继续在商业行业和经济体中流动。有了更多的渠道、更快的速度和包含更多的洞察力,组织将别无选择,只能向数据驱动的业务模型发展。企业领导者面临的问题是:它是积极主动和动态的——还是更加被动并参与追赶?
2023年干掉数字化的有可能是企业内卷
在2023年干掉数字化的不是技术,也不是投入,而是企业内卷。
从一个数据库连接数计算公式谈起
最容易出问题的往往不是CPU,当然如果在云环境中,我们给数据库的CPU资源很少,那么较大的连接可能会引发CPU资源的不足。
传统数仓的3大缺陷,一篇梳理清楚
传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力,同时也造成了传统的数仓技术效率低的缺陷。
为什么平均等待时长对于数据库运维十分关键
能够从可观测性接口中获得等待事件的等待时间信息,感受到了数据库在易用性上的进步。有些朋友十分不解,不就是等待时间的长度数据采集吗?有这么重要吗!说实在的,运维人员获得数据库的等待事件的等待时长,是比重要还要重要的。
MySQL 可以压缩或回收磁盘空间吗
MYSQL 的数据库中的表,在使用中因为插入,删除或者UPDATE 等会产生页面的碎片,而碎片多了就会产生页面中不可用的数据空白,空白多了就会导致实际上存储的数据和在文件上生成的数据文件之间的差异,导致磁盘空间浪费的问题。
在数据二十条中我们能够发现什么
这样宏观的制度是很难以某一主体制定,势必要先试先行,杀出一条破冰之路。
留给CBO优化器的弯道不多了
目前我们国产数据库的优化器恐怕还在重点完善CBO优化器的核心算法,还没有遇到过如此多的实战案例,发现那么多主逻辑可能存在的问题。
你和cdo之间的差距,到底有多大?
CDO不能说是技术水平最高的,但格局一般会比较高,比数仓项目经理高出至少30层楼吧,考虑到很多数据从业者在入职5年后进入瓶颈期,因此探讨这个问题有意义。
带你来吃瓜!Andy Pavlo教授带您一文回顾数据库的2022年
与 2021 年相比,造成 2022 年的大规模融资轮数减少的原因有二。最明显的原因是整个科技行业已经降温,部分原因是对通货膨胀、利率和加密经济崩溃的担忧。另一个原因是,在资金枯竭之前,所有有能力进行大规模融资的公司已经完成了资金的募集。
Kafka+Flink,Confluent收购Immerok
在实时分析越来越重要的今天,变革可能比我们想象的要快,面向云原生以及实时分析,Confluent正加快步伐。不过,收购之后双方能否在团队、产品等方面高效整合才是关键,如此才能发挥出1+1>2的效果。
云原生时代,数据库该何去何从?
在云原生时代,客户需要什么样的数据库?数据库会如何演进?