揭秘字节跳动业务背后的分布式数据治理思路
经过十多年的发展,数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾,将从以下四个部分展开分享:字节的挑战与实践;数据治理的发展与分布式;分布式自治架构;分布式自治核心能力。
快手双边市场的复杂实验设计问题
双边市场,即平台,包含生产者与消费者两方参与者,双方相互促进。比如快手有视频的生产者,视频的消费者,两种身份可能存在一定程度重合。双边实验是在生产者和消费者端组合分组的实验方式。
vivo全球商城:库存系统架构设计与实践
vivo商城原库存系统耦合在商品系统,考虑到相关业务逻辑复杂度越来越高,库存做了服务拆分,在可售库存管理的基础上新增了实物库存管理、秒杀库存、物流时效 、发货限制、分仓管理等功能,满足了商城库存相关业务需求。本文将介绍vivo商城库存系统架构设计经验以及一些问题的解决方案。
哔哩哔哩大数据平台建设之路——数据安全篇
Berserker是B站一站式数据开发及治理平台,基于常用大数据生态组件构建,满足公司内数据查询、数据分析、日常报表、数据集成、数据开发、实时计算和数据治理等各种业务场景。在B站,我们一般将Berserker简写为BSK。
AI 算法在大数据治理中的应用
本文主要分享 Datacake 在大数据治理中,AI 算法的应用经验。本次分享分为五大部分:第一部分阐明大数据与 AI 的关系,大数据不仅可以服务于 AI,也可以使用 AI 来优化自身服务,两者是互相支撑、依赖的关系;第二部分介绍利用 AI 模型综合评估大数据任务健康度的应用实践,为后续开展数据治理提供量化依据;
浅谈AB实验及其在转转B2B报价系统中的应用
AB 实验是为了验证某一个产品能力或者策略的好坏,制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本,收集各群组的用户体验数据和业务数据,并且结合统计学原理,分析评估出最好版本正式采用。
ClickHouse在自助行为分析场景的实践应用
公司每日产生海量数据,按业务需要进行统计产出各类分析报表,但巨大的数据量加上复杂的数据模型,以及个性化的分析维度,采用传统的离线预计算方式难以灵活支持,为此需引入一种满足实时多维分析场景的计算引擎框架来支撑业务精细化运营场景。
存货库存模型升级始末|得物技术
存货系统先接入了包耗材数据,这类数据的特性是行数据不多,但每行数量很大。后接入了商品的库存,由于行数据量增长N倍以上,并且随着业务不断增长数据量越来越大,考虑到原有底层设计不能很好的支撑这么大的数据量,故有了这次系统的模型升级。
阿里可解释性推荐算法应用
可解释性推荐,举例而言,如下图中当当网“根据您浏览的商品推荐”(告诉用户推荐的理由)及淘宝网“1000+居家控收藏”、“2000+数码达人加购”均属于可解释性推荐,通过提供用户信息来说明推荐商品的原因。
转转MySQL机房迁移半小时结束战斗?
经过运维同学近半年时间的筹划和建设,全新IDC和负载均衡技术(CLB)已完成升级建设并正式投产,MySQL、TiDB、Redis等公共基础服务需要有序进行迁移切换。对于MySQL迁移工作,面临集群数量多、操作影响大、操作要求高等一系列难题,需要充分调研现状并制定合理的方案,进一步降低对业务服务的感知。
继华为、中兴之后,美国再次把枪口指向浪潮
某些国家做事情不需要理由!3月3日上午,浪潮集团旗下3股集体下跌:A股浪潮信息一字跌停,浪潮软件一度跌进5%,港股浪潮数字企业一度跌超17%。最新消息显示,美国商务部当地时间3月2日发布公告,以涉及国家安全等无理理由,将28个中国实体列入实体清单,包括第四范式、香港华大基因科技服务有限公司、浪潮集团、龙芯中科、盛科通信等。
节省数亿IT成本,B站FinOps实践
当前,降本增效是各大互联网公司的重要方向,IT成本则占据了互联网公司成本的大头。如何有效的降本?如何推动各业务线配合?如何平衡成本、质量和效率?本文将介绍B站的IT成本管理和优化的思路,介绍B站通过落地FinOps,推进成本洞察、技术优化和运营优化,提升资源效率的经验。
提升前端工程化,携程Design2Code从零到一的实践
在本文中,我们将分享D2C工具的核心算法方案设计和实现过程,以及一系列的解决方案。无论你是开发人员,还是设计师,本文都将为你提供有价值的信息。我们希望,通过阅读本文,能帮助你更好地了解D2C工具,并在实际工作中发挥出最大的价值。
前端监控稳定性数据分析实践|得物技术
客服一站式工作台集成了在线、热线和工单三个核心应用,支撑着自营客服和BPO客服每天处理大量的会话信息,工作台的稳定性就显得非常重要。接入前端监控以来,我们坚持每双周跟进工作台以及客服几个核心应用的线上稳定性情况,围绕页面的访问情况、JS错误率、资源加载异常情况、API接口成功率、自定义业务模块指标这五大监控模块,做了详细的数据分析。
打造全场景算力 新一代Dell PowerEdge服务器加速企业转型
日前, 戴尔科技集团发布了基于第四代英特尔至强可扩展处理器的新一代Dell PowerEdge服务器,旨在跨越核心数据中心、大规模公有云和边缘位置加速计算性能并提供更好的可靠性,为各类工作负载提供强大的算力。
数据治理九大核心领域,以银行业为例
股份制改革对银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分摸清银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同顾客的不同需求。
腾讯音乐内容库数据平台架构演进实践
腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈选等内容分析服务,高效为业务赋能。目前,内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ,经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引入到深度应用,有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题,收益显著。
火山引擎DataLeap:「数据血缘」踩过哪些坑?
基于字节跳动内部沉淀的数据治理经验,火山引擎 DataLeap 具备完备的数据血缘能力,本文将从数据血缘应用背景、发展概况、架构演讲以及未来展望四部分,为大家介绍数据血缘在字节跳动进化史。
从0到1,亿级消息推送的稳定性保障|得物技术
消息平台监控上线后带来的收益还是比较可观的,包括多次异常的及时发现和止损,还有发现多个个可以优化的性能点,实现了服务高峰吞吐量的翻倍,同时也解决了我们现在遇到的以下痛点。时效性明确的给到了不同优先级的耗时标准,避免了业务和技术之间的gap,业务方对于推送的耗时也有了明确的心理预期。
世界杯直播|抖音视频编码器优化
对于世界杯这样的大型体育赛事而言,视频编码算法既要在高速运动、复杂纹理的场景下确保直播内容的清晰度和流畅度,保障用户的观赛体验,又要兼顾码率、延迟等对网络传输层面尤为敏感的指标。