货拉拉大数据离线混合引擎服务建设实践
货拉拉作为一家数据智能驱动的科技物流型平台企业,内部分析师和研发人员等每天会通过大数据服务进行大量 ad-hoc 查询分析。通过 NPS 调研发现用户普遍反馈 ad-hoc 查询慢问题,对查询效率满意度较低。
Faas在哈啰AI平台的落地实践
运维复杂问题,AI平台有多种不同语言的模型推理服务, 如python、C++(tf-serving)、Java等,各自管理上百个不同类型的模型;架构也很复杂,存在大型单体应用、多container应用、小型GPU应用等多种服务组织方式;同时,手动运维有余,自动化工具不足。
多利熊基于分布式架构实践稳定性建设
多利熊稳定性建设,是指为了确保系统或服务,在生产环境中的稳定性而采取的一系列措施和优化。这包括但不限于监控、预警、容错、自动化、规范、质量等方面的优化。通过稳定性建设,可以提高系统的可靠性和可用性,从而为用户提供更好的使用体验和服务质量。
动态线程池在转转平台的实践
作为一名互联网程序员,经常需要面对高并发的场景,为了更好地提高系统的吞吐量和响应速度,我们通常采用并发编程。而线程池技术也是Java并发编程中的一个重要组成部分。本文将分享我的Java线程池使用经历,以及Java线程池在转转平台的实践。
8款数据迁移工具选型,主流且实用
前言:ETL(是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业应用来说,我们经常会遇到各种数据的处理、转换、迁移的场景。今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具,希望对你会有所帮助。
如何从1到99做好产品 | 得物技术
如果说推动一款产品从0到1的上线是产品成功的第一步,那么如何实现增长是我们还需要探索努力的99步,本文来聊聊对增长的一些看法。
这些职场潜规则帮你做高效技术人
作者是一个从一线技术人摸爬滚打一步步成长起来的技术管理者,也算是慢慢积累了一些做事和管理的经验心得,三年的管理者快照能侧面佐证作者通过学习和实践从管理小白到逐渐摸到了一些管理门道的自我修炼之路是怎么走过来的。
DataLeap数据资产实战:如何实现存储优化?
DataLeap 作为一站式数据中台套件,汇集了字节内部多年积累的数据集成、开发、运维、治理、资产、安全等全套数据中台建设的经验,助力企业客户提升数据研发治理效率、降低管理成本。
vivo全球商城:电商交易平台设计实践
vivo官方商城经过了七年的迭代,从单体架构逐步演进到微服务架构,我们的开发团队沉淀了许多宝贵的技术与经验,对电商领域业务也有相当深刻的理解。本文将介绍交易平台的架构设计理念与实践,以及上线后持续迭代过程中的挑战与思考。
携程小程序内嵌webview实践指南
这篇文章将向大家分享团队在小程序 webview 方面的开发心得,以微信小程序为主要环境,介绍在业务开发中处理小程序webview内嵌H5所遇到的问题及解决方案。具体将从小程序平台与H5差异、小程序内嵌webview通信、小程序webview常见问题展开叙述。
淘宝个性化推荐中的多场景模型建模实践
文中将介绍多场景建模是如何细粒度地刻画全域场景和单场景的迁移关系来实现领域自适应,以及如何在多场景建模中引入无监督数据,还将介绍多场景建模在推荐召回阶段的落地实践。
转转业务数据校验平台实践分享
随着转转业务规模快速增长,系统拓扑结构越来越复杂,加上二手交易玩法也非常多(如C2C、C2B、B2B、B2C、C2B2C等),在这种复杂系统架构和业务场景下,无法避免会出现RPC调用失败,消息漏发,线上Bug,业务新老规则冲突等因素引发数据异常,导致用户客诉,以及公司产生损失。
任务运维 | 怎么补数据?这有一篇实践案例
在任务运维同学的日常工作中,经常需要使用补数据功能,例如当一个新的数据开发任务提交上线后,需要将历史的数据也能写入对应的时间分区;或者当发现某个任务产出数据有误时,需要重新刷新数据,这时候也会需要用到补数据功能。
得物 API 一站式协作平台的一些思考
Mooncake是得物API一站式协作平台。从2022年3月份开始负责Mooncake,到现在已经一年了,回顾这一年,Mooncake大的阶段上,总共经历过两个版本:1、Mooncake 1.0: 面向前端和客户端的mock平台,主要解决接口调用者的数据mock问题2、Mooncake 2.0: 面向前后端的,融合了yapi和mock的一站式文档管理平台,从供需两端解决接口文档的流通效率问题
中原银行如何从0到1建设敏捷BI平台?
中原银行敏捷 BI 平台的建设目标为满足不同人群对数据查询、分析和探索的需求,为管理和业务提供数据依赖和决策支撑。
字节跳动开源Katalyst:在离线混部调度,成本优化升级
Katalyst 是字节跳动对多年大规模业务云原生化场景中资源管理能力的抽象和总结,我们期望通过 Katalyst 的开源直接或间接的帮助用户做好资源管理,实现降本增效。当下互联网应用以天为单位,在线业务的资源使用情况往往会随着访问数量的波动而变化,具备明显的潮汐特性。为了确保业务稳定性,业务方往往会参考高峰时段的资源使用情况来申请资源,但这部分资源在低峰时段容易被闲置。
低延时音视频技术在OPPO云渲染场景的应用
什么是云渲染,简而言之,云渲染是利用云端算力来解决终端算力瓶颈问题,进而解放端侧算力压力,主要的场景有虚拟社交,虚拟演播厅、虚拟演唱会、云游戏、远程协作等。云渲染平台借助云端算力和音视频技术将引领下一代多媒体互联发展。
货拉拉技术稳定性体系1.0建设实践
货拉拉是大家耳熟能详的互联网物流公司,致力于为个人、商户及企业提供高效的物流解决方案,让货物出行更轻松。截至2022年12月,货拉拉业务范围已覆盖360座中国内地城市,月活司机达68万+,月活用户达950万+。这些数字不仅说明货拉拉业务规模已十分庞大,更多地表明我们在承担着一份非常重要的社会责任。而稳定性正是我们履行好这份社会责任的必要因素。
每日百亿查询请求,咋敢玩可观测性的呢?
本文首先会介绍什么是可观测性以及云原生时代为什么更要关注可观测性,然后阐述搜索中台是如何以极低的机器成本打造百亿流量的实时指标监控(Metrics)、分布式追踪(Traces)、日志查询(Logs)和拓扑分析(Topos)。
B站基于Flink的海量用户行为实时ETL实践
在数仓分层架构体系中,从 ODS层到 DWD层数据转换需要进行数据清洗、脱敏、列式压缩等步骤。在B站用户行为埋点数据 ODS到 DWD层转换过程中,为了解决日增千亿条、20+TB/天增量规模下数据重复摄取带来的资源严重消耗的问题,引入了北极星(B站用户埋点行为分析链路)分流,按照部门进行分表。