平稳突破单机房容量瓶颈,B站离线多机房架构实践
随着B站业务的高速发展,业务数据的生产速度变得越来越快,离线集群规模快速膨胀,既有机房内的机位急剧消耗,在可预见的不久的将来会达到机房容量上限,阻塞业务的发展。因此,单机房容量瓶颈成为了我们亟待解决的问题。
纺织供应链中的金融大数据风控体系
我国纺织业有着几千年的历史,是国民经济不可或缺的重要组成部分,中国作为世界纺织大国随着产业互联的发展,其背后的纺织行业供应链金融如何赋能产业是非常值得大家探讨的话题。一方面纺织产业有着很长的供应链条,并且链条上各种生产要素错综复杂;另一方面金融如何服务好产业链上的客户,并做好风险管控是一项富有挑战性又很有价值的事情。
腾讯灯塔融合引擎的设计与实践
腾讯灯塔是一款端到端的全链路数据产品套件,旨在帮助产品、研发、运营和数据科学团队 30 分钟内做出更可信及时的决策,促进用户增长和留存。
轻松保障万级实例,vivo服务端监控体系建设实践
监控服务平台是自研的、覆盖全场景的可用性保障系统。经过多年深耕,vivo监控团队已经成体系构筑起一整套稳定性保障系统,随着云原生可观测技术变革不断深化,监控团队如何掌舵前行?下面就平台的建设历程、思考、探索,做一下简单介绍。
爱奇艺的云上数据治理实践
爱奇艺十分认同 Database Mesh 的理念以及愿景,即『在云端实现数据库的高性能扩展以及解决数据治理难题』。因此,爱奇艺基于自身需要对 ShardingSphere-JDBC 进行了扩展,并结合 Database Mesh 理念的具体实现--Pisanix 进行了一系列关键测试,逐步向 Database Mesh 架构演进。
B站千亿级点赞系统服务架构设计
点赞相信大家都不陌生,在B站,点赞是UP主们跟粉丝之间的特殊羁绊。B 站的点赞系统提供了对视频、动态、专栏、评论、弹幕等多种实体维度的点赞、点踩以及其余配套的数据查询的能力。
订单流量录制与回放探索实践|得物技术
得物版本的流量录制回放平台pandora在官方开源版本上进行了很大的拓展,支持了很多官方版本不支持的子调用和入口调用。此外,平台还对得物的中间件进行了诸多适配工作,避免了大量的回放失败噪音。
一文了解——云原生大数据知识地图
随着行业的快速发展和业务的高速迭代,数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。具体来讲,传统大数据架构主要存在以下几方面的问题:
CTO偷偷传我的系统性能优化十大绝招(万字干货)
关于性能方面,就像建筑设计成抗震9度需要额外的成本一样,高性能软件系统也意味着更高的实现成本,有时候与其他质量属性甚至会冲突,比如安全性、可扩展性、可观测性等等。大部分时候我们需要的是:在业务遇到瓶颈之前,利用常见的技术手段将系统优化到预期水平。
哔哩哔哩⼤数据建设之路——实时DQC篇
数据质量是基于大数据衍生的应用有效与否的重要的前提和保障之一。B站现在高速发展的业务需求以及未来能够依靠大数据孵化出更有深度和竞争力应用的愿景,都要求我们数据平台能够提供实时的、准确的、可以被各个业务方所信赖的数据。可以说,可信赖的数据,是大数据平台核心竞争力的体现。
字节跳动数据湖在实时数仓中的实践
本节我们讨论的是字节实时数仓场景的初探以及遇到的问题和解决方案。坦白地讲,在最初落地时大家对数据湖能支持线上生产的态度都是存疑的,我们开始的方案也就比较保守。我们首先挑选一些对比现有解决方案,数据湖具有凸显的优势的场景,针对其中的一些痛点问题尝试小规模的落地。
一次 Keepalived 高可用的事故,让我重学了一遍它
上次我们遇到了一个 MySQL 故障的事故,这次我又遇到了另外一个奇葩的问题:Keepalived 高可用组件的虚拟 IP 持续漂移,导致 MySQL 主从不断切换,进而导致 MySQL 主从数据同步失败。虽然没能重现 Keepalived 的这个问题,但是我深入研究了下 Keepalived 的原理以及针对核心配置参数做了大量实验。悟空带着大家一起看下 Keepalived 到底是如何运转的,以及为什么它能做到高可用。
领域知识增强的预训练语言模型在药电商搜索领域的实践
本文将分享领域知识增强的预训练语言模型在药电商搜索领域的实践。包括以下三大部分:1. 业务背景;2. 技术背景;3. 方法介绍。
众安百亿级数据集成服务的架构实践
本文介绍众安百亿级数据集成服务的架构实践,主要包括三个方面:数据集成及常见的技术;众安数据集成服务业务支持的情况;众安数据集成服务技术演进的路线。
京东零售在电商搜索场景下的数据科学实践
电商场景数据量大、业务复杂,搜索场景作为其中最为核心的流量分发与转化场域,更面临着诸多数据科学领域的问题与挑战。本文将分享京东零售搜索数据科学团队在电商搜索场景下的数据科学实践,主要介绍:1. 电商搜索场景的特点;2. 实验科学和因果推断实践;3. 观测指标设计和业务分析。
深度召回在飞猪旅行推荐系统中的探索和实践
大家好,我是来自飞猪推荐算法团队的里熙,今天给大家分享的是本团队在飞猪首页猜你喜欢推荐 Feeds 流的召回阶段做的一些优化工作。今天的分享主要包括三个部分:第一部分是相关的一些背景介绍,第二部分是目前飞猪首猜线上主流的一些召回方法,第三部分是本团队在飞猪首猜向量召回上做的一些实践和优化点。
难住了,微服务之间的调用方式哪种更优?
在微服务架构中,需要调用很多服务才能完成一项功能。服务之间如何互相调用就变成微服务架构中的一个关键问题。服务调用有两种方式,一种是RPC方式,另一种是事件驱动(Event-driven)方式,也就是发消息方式。
京东零售基于NLP的风控算法模型构建实践
本团队主要负责京东零售领域的风控算法模型构建,针对京东零售风控方面,业务要求不断地更新、模型失效快、更新迭代慢以及成本高昂等情况,我们提出了自己设计研发的 NLP 预训练架构模型和用户行为预训练模型,并进行预训练模型的平台化,方便一键部署开发,快速迭代,简单易用,推理速度提升等,有效解决了业务问题,并在公开数据集上也得到了很好的效果。
一文详解BI平台——火山引擎DataWind架构和实践
DataWind 是火山引擎数智平台VeDI旗下的一站式数据分析与协作平台,主要有三个使用场景:第一,数据探索与分析;第二,数据协作与集成;第三, AI 能力融合。DataWind覆盖的人群非常广泛,几乎支持字节跳动内部所有业务线,覆盖绝大多数员工使用需求,每天运行20万张以上活跃的仪表盘,支持超过500万次巨大数据量的查询,每天有超过5万人在使用 DataWind。
达达快送小程序性能优化实践
达达集团是中国领先的本地即时零售与配送平台,达达快送小程序作为公司重要的 ToC 业务入口,对外提供帮取帮送、跑腿帮买、帮排队等服务,承担了 ToC 业务较高部分的订单量。对于小程序而言,性能至关重要。