ITPub博客

本篇文章大致介绍任务全链路诊断模块，通过部分案例和数据，帮助用户更好的了解该功能模块能带来什么样的收益，以及如何简单的使用。本篇文章仅涉及计算资源vcore的优化，对于异常定位会有其他文章进行介绍。

快手数据湖当前还有一些待优化的工作。首先，缺少完善的元数据和数据管理服务。在查询模式上，由于不支持实时表，也还没有达到离线和实时查询的统一。此外，当前快手数据湖生产方式还没有做到无感知的兼容，所以主要在新的场景上使用，总体的使用率占比不高。

回归投入成本大，H5页面巡检在用户稳定性提升上具有较大意义，在每个迭代大概有近十万个页面需要巡检（比如双旦、情人节等大促活动期间则更多）。本文中的部分技术调研、演示代码块、疑惑问题等，均由ChatGPT提供。

为什么要花时间来解释这个并不新鲜的问题?大概是因为逐渐发现这问题的答案可能并没有问题本身普及得开。因此，今天来写这篇文章帮助大家系统认识、理解BI应该也不算过时。全篇原创干货，不妨耐下心，跟我花10分钟去理清这些你每次都分不清的概念。

数仓建设离不开数据模型，数据分析师通过数据模型分析归纳各类数据，模型中离不开各种数据表，表代表不同维度数据，从而表/数据之间有上下游依赖关系，数据的产出是由任务计算得出，分为周期性或实时产出，所以数据之间的依赖等价于计算任务的依赖。

在进入正题之前，先问一个老生常谈的问题，相较于C，JAVA语言的优势是什么？相信学过JAVA的人都知道，无论是大学时的第一堂课还是JAVA相关书籍的第一章也都会讲到：一次编写、到处运行；真正意义上的实现了跨平台。

随着业务的发展，字节跳动特征存储已到达 EB 级别，日均增量 PB 级别，每天训练资源量级为百万 Core。随之而来的是内部业务方对原始数据存储、特征回填需求、降低成本、提升速度等需求的期待。本次分享将围绕问题背景、选型 & Iceberg 简介、基于 Iceberg 的实践及未来规划展开。

一般而言，平台大促即意味着流量暴涨和优惠力度暴增，特别是每年的618、双11和双12等大促更是一场电商圈的狂欢；暴涨的流量对系统稳定性的冲击，高额优惠对业务资损防控的考验，都比平常要高出数倍，出现了问题也会被放大数倍；这是一场没有硝烟的战争，宁可准备充足但毫无用武之地，也不能出现问题束手无策。

存储计算分离架构是云原生技术在业务落地的底层重要支撑技术之一，本次分享将介绍美团基础技术部存储团队在存储计算分离架构上的一些探索，重点是介绍美团的分布式存储底座MStore的技术架构，以及基于MStore建设其他PaaS组件和业务系统的一些思考和实践，帮助业务系统实现存储计算分离架构的落地，提升整体系统的扩展能力。

熟悉大数据的人都知道，这个问题是真实且严重的，而不完全是技术问题。事实上，相对于本质原因，技术是失败的次要原因。以下是大数据项目失败的四个主要原因，以及可以成功的四种方式。

从内部需求出发，我们基于TiKV设计了一款兼容Redis的KV存储。基于TiKV的数据存储机制，对于窗口数据的处理以及过期数据的GC问题却成为一个难题。本文希望基于从KV存储的设计开始讲解，到GC设计的逐层优化的过程，从问题的存在到不同层面的分析，可以给读者在类似的优化实践中提供一种参考思路。

目前，美团内部每天产生的慢查询数量已经超过上亿条。如何高效准确地为慢查询推荐缺失的索引来改善其执行性能，是美团数据库研发中心面临的一项挑战。为此，我们与华东师范大学开展了科研合作，在AI领域对索引推荐进行了探索和实践，并将基于代价的方法和新提出的基于AI+数据驱动的方法共同应用于慢查询的索引推荐，成功提升了推荐效果。

近年来随着大数据时代的到来和计算能力的提升，人工智能在各个领域都取得了显著的进展。原先在云端进行特征的存储与处理、模型的训练、在线推理，在客户端进行数据的展示的架构展现出越来越多的缺点和局限性。本文将结合端智能的优势，结合哈啰一站式AI平台的现状，讲述一站式AI平台如何支持多端智能（服务端、flink端、移动端）。

我们在建设智能运维的基本目标与业界是一致的，主要都是为了降低故障的平均修复时间，延长系统的无故障的运行的时间，以此提升系统的可用性以及运维效率。在京东内部，主要依托于三大技术底座：运维知识图谱、运维大数据处理技术、运维算法技术。

快手最大的业务特点就是数据量大。每天入口流量为万亿级别。对于这么大的流量入口，需要做合理的模型设计，防止重复读取的过度消耗。另外还要在数据源读取和标准化过程中，极致压榨性能保障入口流量的稳定执行。

数据驱动的运营由数据推动。每家公司都认为其数据是“好”的，因为数据是用来运营业务的。如果一个公司的账户金额额和它的交易都被成功处理了，数据怎么可能是坏的呢？当数据不适合其用途时，可能很糟糕。例如，数据可能不够完整，无法实时满足客户的需求，或者无法用于管理查询或财务分析。

数据采集一直是困扰着所有制造工厂的传统痛点，自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，不同采购年代。即便产量停机数据自动采集了，也不等于整个制造过程数据都获得了，只要还有其他人工参与环节，这些数据就不完整。

本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分，第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。

为进一步落实国务院国资委《关于加快推进国有企业数字化转型工作的通知》，点亮智库联合中国企业联合会、北京国信数字化转型技术研究院、中核集团、航空工业集团、国家电网等40余家央国企、行业协会、科研机构、服务企业等单位，就国有企业数字化转型发展指数与方法路径进行了课题研究。

汽车之家电商系统诞生在2014年，成长于2016~2019年，并经历多年双11、818晚会的洪峰考验，沉淀了稳定可靠、性能卓越的在线交易能力。随着业务中台的建设浪潮兴起，2019年进入中台化建设阶段，输出其在汽车电商领域五年沉淀的能力，助力汽车电商行业发展，加速企业数字化转型！