淘宝个性化推荐中的多场景模型建模实践
文中将介绍多场景建模是如何细粒度地刻画全域场景和单场景的迁移关系来实现领域自适应,以及如何在多场景建模中引入无监督数据,还将介绍多场景建模在推荐召回阶段的落地实践。
转转业务数据校验平台实践分享
随着转转业务规模快速增长,系统拓扑结构越来越复杂,加上二手交易玩法也非常多(如C2C、C2B、B2B、B2C、C2B2C等),在这种复杂系统架构和业务场景下,无法避免会出现RPC调用失败,消息漏发,线上Bug,业务新老规则冲突等因素引发数据异常,导致用户客诉,以及公司产生损失。
任务运维 | 怎么补数据?这有一篇实践案例
在任务运维同学的日常工作中,经常需要使用补数据功能,例如当一个新的数据开发任务提交上线后,需要将历史的数据也能写入对应的时间分区;或者当发现某个任务产出数据有误时,需要重新刷新数据,这时候也会需要用到补数据功能。
得物 API 一站式协作平台的一些思考
Mooncake是得物API一站式协作平台。从2022年3月份开始负责Mooncake,到现在已经一年了,回顾这一年,Mooncake大的阶段上,总共经历过两个版本:1、Mooncake 1.0: 面向前端和客户端的mock平台,主要解决接口调用者的数据mock问题2、Mooncake 2.0: 面向前后端的,融合了yapi和mock的一站式文档管理平台,从供需两端解决接口文档的流通效率问题
中原银行如何从0到1建设敏捷BI平台?
中原银行敏捷 BI 平台的建设目标为满足不同人群对数据查询、分析和探索的需求,为管理和业务提供数据依赖和决策支撑。
字节跳动开源Katalyst:在离线混部调度,成本优化升级
Katalyst 是字节跳动对多年大规模业务云原生化场景中资源管理能力的抽象和总结,我们期望通过 Katalyst 的开源直接或间接的帮助用户做好资源管理,实现降本增效。当下互联网应用以天为单位,在线业务的资源使用情况往往会随着访问数量的波动而变化,具备明显的潮汐特性。为了确保业务稳定性,业务方往往会参考高峰时段的资源使用情况来申请资源,但这部分资源在低峰时段容易被闲置。
低延时音视频技术在OPPO云渲染场景的应用
什么是云渲染,简而言之,云渲染是利用云端算力来解决终端算力瓶颈问题,进而解放端侧算力压力,主要的场景有虚拟社交,虚拟演播厅、虚拟演唱会、云游戏、远程协作等。云渲染平台借助云端算力和音视频技术将引领下一代多媒体互联发展。
货拉拉技术稳定性体系1.0建设实践
货拉拉是大家耳熟能详的互联网物流公司,致力于为个人、商户及企业提供高效的物流解决方案,让货物出行更轻松。截至2022年12月,货拉拉业务范围已覆盖360座中国内地城市,月活司机达68万+,月活用户达950万+。这些数字不仅说明货拉拉业务规模已十分庞大,更多地表明我们在承担着一份非常重要的社会责任。而稳定性正是我们履行好这份社会责任的必要因素。
每日百亿查询请求,咋敢玩可观测性的呢?
本文首先会介绍什么是可观测性以及云原生时代为什么更要关注可观测性,然后阐述搜索中台是如何以极低的机器成本打造百亿流量的实时指标监控(Metrics)、分布式追踪(Traces)、日志查询(Logs)和拓扑分析(Topos)。
B站基于Flink的海量用户行为实时ETL实践
在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。
微信基于PyTorch的大规模推荐系统训练实践
本文将介绍微信基于 PyTorch 进行的大规模推荐系统训练。推荐系统和其它一些深度学习领域不同,仍在使用 Tensorflow 作为训练框架,被广大开发者诟病。虽然也有使用 PyTorch 进行推荐训练的一些实践,但规模较小,也没有实际的业务验证,很难推动业务尝鲜。
爱奇艺组件化设计在会员业务的应用和实践
在现代商业环境中,为了实现商业目标和利益的最大化,企业之间经常进行各种合作,例如供应链合作、销售渠道合作、技术合作等等。在这种背景下,对外合作成为了会员业务的重要组成部分,随着业务的发展,外部合作的需求越来越多,如何能高效完成与合作方的对接,成为了一个重要的课题。
看得见的西安古城,看不见的人工智能
尽管人工智能技术应用的大部分工作可能是在幕后,但是在西安的各个领域中,人工智能技术正在发挥其巨大的作用。近日,小编有幸实地探访了西北首个大规模人工智能算力集群,并对西安智能赋能的标杆案例/样板点进行参观,西安正在加速让人工智能触手可及。
电商交易场景状态机方案探索及应用
目前闲鱼行业产品有回收、寄卖、验货宝等,这些产品在基础交易模式上引入附加玩法规则,其状态机相比于普通交易模型更加灵活复杂。基础交易模型订单状态只包含:创建订单->付款->发货->确认收货 。
火山引擎DataLeap数据血缘技术建设实践
随着公司业务扩张、用户数量持续增长以及数仓建设不断完善,元数据种类和数量也经历了非线性增长,并在此期间涌现出一些问题。第一,扩展性。好的扩展性可以在面对新型元数据血缘时保证快速接入和迭代,而扩展性不佳则会导致在业务变化时需要不停地重构来适应业务,对业务造成很多影响。
抖音集团数据指标体系分析与增长实践
今天分享的主题是指标体系分析与增长实践。火山引擎是字节跳动旗下的云服务平台,把字节发展过程中积累的一些经验,通过增长方法、技术、工具和能力开放给外部企业,帮助企业在数字化转型过程中实现持续增长。火山引擎包含的产品多种多样,今天介绍的是两个数据产品,一个是行为分析平台(DataFidner),一个是 A/B 实验平台(DataTester)。
vivo 手机云服务建设之路
手机云服务目前作为每家手机厂商必备的一项基础服务,其服务能力和服务质量对用户来说可以说是非常重要。用户将自己大量的信息数据存储在云端,那我们的云端服务如何保证服务的稳定和数据的安全,以及如何应对越来越多用户群体的使用?本文将主要介绍 vivo 手机云服务系统的建设历程。
同程旅行吴祥平:同程湖仓一体应用与实践
本文根据吴祥平老师在【第十五届中国系统架构师大会(SACC2022)】线上演讲内容整理而成。为了解决数仓存在的一些问题比如:数仓的实时性,资源消耗,更新需求日益变多,我们跟进业界步伐实践了从数仓到湖仓的转变。
流批一体的实时特征工程平台建设实践
本文主要分享阿里云 FeatHub 项目组在特征工程开发中的平台实践和建设经验。本次分享分为四大部分,第一部分总体介绍 FeatHub 在特征开发、部署、监控、分享过程中面临的场景、目标、痛点和挑战;第二部分介绍 FeatHub 的架构思路实践,及相关核心概念。
转转仓储自动化系统实践
转转仓储初始形态为基本的进销存(进销存软件主要关注库存、采购和销售的管理,而WMS专注于仓库内部的物料搬运、存储和分拣等操作;前者解决的是管货的能力,后者是在前者的基础之上对仓库的作业进行过程指导和规范)系统,初始形态定位于质检系统中的仓储模块;因此也只是承担的比较固定和简单的实物进销存过程,没有其他决策性、流程性等能力。