第一次操盘大促,稳定性保障如何做到万无一失?
业界有很多大促活动,像618、双11、双12等等。每一次大促不只是给业务带来了新高,对于技术同样也有很重要的意义,纵观一些优秀的技术团队,都是跟着业务一起成长的。在高并发大流量的背景下,如何支撑好业务运营,是一件很有挑战性的事情,它可以从多方面检验我们的技术能力,对我们的系统架构和应急保障都提出了很高的要求。
湖仓一体架构在火山引擎LAS的探索与实践
火山引擎湖仓一体分析服务 LAS(Lakehouse Analytics Service),是面向湖仓一体架构的 Serverless 数据处理分析服务,提供字节跳动优秀实践的一站式 EB 级海量数据存储计算和交互分析能力,兼容 Spark、Presto 生态,帮助企业轻松构建智能实时湖仓。
电商领域A/B实验平台建设方法
A/B 实验应用作为论证的黄金方法,目前已经成为一个必然的选择,但是实际上如何在企业内部去建设实验平台,还充满了很多选择。目前的实验平台,包括在线实验的数量,已经成为衡量互联网公司体量、业务量以及用户量的一个隐藏指标。一些大厂的实验平台,同时在线实验数量超过 10000,可能每个月新建的实验数量都会大于 1000。
常见的项目管理问题如何应对?|得物技术
随着公司业务的快速发展,以及业务线的快速扩张,项目不仅多同时也越来越复杂,且还有较多项目涉及到跨团队跨域协作。在此大前提下,技术层定期统一组织业务类立项宣讲筹备会,以便做好资源冲突的规避,同步资源信息和项目信息,确保项目按计划及时完成交付。
容器集群监控系统架构如何对症下药?
在云原生的体系下,面对高弹性、拆分微服务以及应用动态生命周期等特点,传统监控体系如 cacti 、nagios 、Zabbix 等已经逐渐丧失了优势,难以适用和支撑,对应的新一代云原生监控体系应运而生,Prometheus 为核心的监控系统已成为云原生监控领域的事实标准。
深度UPLIFT模型在腾讯金融用户增长场景中的应用
今天的分享主要聚焦在深度 UPLIFT 模型,包括该类模型的主要技术挑战和发展脉络,同时介绍深度 UPLIFT 模型助力腾讯金融科技用户增长的经典案例。
任务运维 | 怎么补数据?这有一篇实践案例
在任务运维同学的日常工作中,经常需要使用补数据功能,例如当一个新的数据开发任务提交上线后,需要将历史的数据也能写入对应的时间分区;或者当发现某个任务产出数据有误时,需要重新刷新数据,这时候也会需要用到补数据功能。
货拉拉一站式云原生AI平台建设实践
数据工程、模型训练、在线服务是机器学习技术实现的三驾马车,这个流程中处理的数据量大,计算量大、训练框架和版本多样、底层依赖复杂,资源算力管理,需要人工介入解决很多问题,给AI落地带来了比较困难。
vivo 短视频推荐去重服务的设计实践
vivo短视频在视频推荐时需要对用户已经看过的视频进行过滤去重,避免给用户重复推荐同一个视频影响体验。在一次推荐请求处理流程中,会基于用户兴趣进行视频召回,大约召回2000~10000条不等的视频,然后进行视频去重,过滤用户已经看过的视频,仅保留用户未观看过的视频进行排序,选取得分高的视频下发给用户。
浅谈任务分发中的机制与并发
任务模型的抽象具有广泛通用性的,例如饿了么骑手每笔骑单是任务,小法庭中交易纠纷的评审也可以被抽象为任务。下面是简易的任务系统模块图,图示中去除了上下游的模块,保留了核心与小法庭业务特色部分。
线上问题零发生,闲鱼稳定性问题治理与监控优化
闲鱼作为C2C电商交易平台,消息系统是导购链路上关键的一环。用户依赖聊天建立买家与卖家的信任,进一步获取商品信息。闲鱼消息的稳定性直接影响到闲鱼用户体验,成交效率。为强化闲鱼消息系统的稳定性,保障用户体验。闲鱼消息团队在2022年8月份对消息系统稳定性进行了体系化治理。本文将从闲鱼消息团队视角出发,讲讲我们怎么做稳定性治理。
营销大促质量保障都可以做些啥?|得物技术
平台大促即意味着流量暴涨和优惠力度暴增,特别是每年的618、双11和双12等大促更是一场电商圈的狂欢;暴涨的流量对系统稳定性的冲击,高额优惠对业务资损防控的考验,都比平常要高出数倍,出现了问题也会被放大数倍;这是一场没有硝烟的战争,宁可准备充足但毫无用武之地,也不能出现问题束手无策。
Google Cloud郭斌:Cloud Bigtable在广告技术中的使用
Google Cloud Bigtable是全托管可扩缩的NoSQL数据库服务,用于处理大规模分析和运营工作负载,可用性高达99.999%;延迟时间在10毫秒以内,每秒可处理数百万个请求,其技术非常适用于广告技术平台。本次演讲将以Bigtable在广告技术中的实际使用,带领大家领略Cloud Bigtable的风采。
运满满实时计算实践和思考
满帮集团全心全意帮助司机和货主,助力物流降本增效,利用移动互联网、大数据、人工智能等新技术,打造智慧物流生态平台,提升“车找货、货找车”的智能化和标准化,改变传统物流行业“小、乱、散、弱”的状况。旗下运满满货运平台一站式解决货运全链路问题,百万司机一秒响应。
ByteHouse 实时导入技术演进
ByteHouse是火山引擎上的一款云原生数据仓库,为用户带来极速分析体验,能够支撑实时数据分析和海量离线数据分析;便捷的弹性扩缩容能力,极致的分析性能和丰富的企业级特性,助力客户数字化转型。本文将从需求动机、技术实现及实际应用等角度,介绍基于不同架构的 ByteHouse 实时导入技术演进。
高德地图如何短时间完成春节出行备战工作?
2023 年春节,经历了三年的疫情后,我们终于在春天迎来了曙光。国人的出行热情空前高涨:回家看看父母亲;心心念念的旅行终于可以成行了。按照高德的估计,2023 年春节出行的峰值流量将比 2022 年同期和 2022 年十一都有相当大比例的增长。然而,就在不久前,受疫情的影响,系统的流量还在相对低位运行。
携程小程序生态之自动化错误预警方案
携程小程序自动化错误预警方案是一套完整且通用的小程序前端错误监控方案。此方案提供小程序错误自动采集SDK,并对错误所在的页面路径进行偏移矫正,能够准确通知相应的开发负责人;将错误信息分为生产、测试、开发3种阶段,根据错误发生的阶段提供相应的错误预警及处理方案。
vivo短视频用户访问体验优化实践
本文介绍了vivo短视频用户访问体验优化的实践思路,并简单讲解了实践背后的几点原理。我们平时在看抖音快手视频的时候,如果滑动到某个视频画面一直几s不动的时候,大概率就会划走了,所以在短视频项目中,画面卡顿是非常影响用户体验的,启播速度越快,就越能留住用户。
网易某业务线的计算资源数据治理实践
本文从计算资源治理实践出发,带大家清楚认识计算资源治理到底该如何进行,并如何应用到其他项目中。由于数据治理层面可以分多个层面且内容繁多(包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容),因此需要单独拆分为6个模块单独去阐述其中内容。
前端资源化的问题如何破局?
年初我们大团队层面有过一次对现有问题的调研及总结,其中大家提的最多的就是前端资源化问题,摆在了所有问题的第一位。本次分享是打算从我个人的实践和思考中,提出在某些工作过程中,可以改善甚至避免资源化问题的例子和大家探讨。也想抛砖引玉,引起大家对这个问题的再次重视,能在后续有更多的讨论和发声。