时序与因果模型在复杂仓储控制策略的探索
本文将分享序列数据的因果推断在仓储管理上的应用,包括解决问题上的思路和相关技术。因果分析是一种把握和挖掘数据背后原因和结果的技术,因为它有很好的模型可解释性,所以对于可视化以及复杂商业过程会有很大的帮助。
网约车服务端线上流量巡检与测试验收技术
本文提出了测试流量触发与测试结果分离的思想,并基于该思想做了两次实践,分别是在线上以更快召回代码bug为目标的线上流量巡检,在线下以提高测试效率为目标的测试流量验收。
网易云音乐实时数仓治理优化实践
云音乐数仓平台已经上线使用超过6年时间,目前累计用户(包括离职人员)超过700人,每日UV超过200,涉及数仓开发、数据产品、分析师、算法、业务开发、QA等几乎所有角色的开发人员。
B站游戏中心个性化推荐系统实践
B站游戏中心是一个游戏分发平台,它提供游戏下载、游戏评测、游戏攻略和游戏活动等相关内容,用户可以在这里找到各种优秀的游戏作品,预约测试,下载资源,以及参与游戏社区的互动。
建设银行隐私计算实践
本文将分享建设银行在隐私计算领域的一些应用实践。建行上海大数据智慧中心是2015年成立的一支专门服务于建行内部的数据分析和数据挖掘团队,职责是为全行的各业务条线、各个分行、各个子公司专门来提供数据咨询服务、大数据平台技术和数据算法的支持。
“APM”爆炸,看英特尔这波儿“多线操作”
APM=Actions Per Minute,也就是每分钟操作的次数。它统计的操作包括鼠标每次的左击,右击以及每次的键盘敲击。多见于星际争霸和魔兽争霸3游戏中,APM的高低往往象征着玩家操作的精细程度,一定程度上反映了玩家的水平。前不久,人工智能领域资深玩家,英特尔给我们展示了其扎实的APM功底,大秀了一波儿“多线操作”。
淘宝直播APP用户增长实践
点淘,是淘宝直播官方APP,也是阿里内容战略的重要组成部分。近两年来,阿里在内容方向投入了大量精力,而点淘则是内容方向的一个重要组成部分。点淘依托直播和短视频生态,通过短直联动的方式来打造短视频种草和直播拔草的一个商业形态。
OPPO基于图神经网络的搜索推荐算法与实践
我们希望更好地利用oppo内部用户、应用以及广告等实体在多个场景的多种交互行为,得到统一的预训练表征或模型。前文中提到的方法更多的是针对单场景,或者少量场景进行建模,我们希望充分发挥图的优势,能够将更多的场景同时关联起来,同时去得到用户或者应用广告的实体的丰富多行为的通用表征。
B站埋点数据标准化实践
最近B站在做的探索是基于已经标准化的埋点元数据做自动化分流。业内经常所做的数据架构链路是分成两个部分,一个是消费数据的实时流,经常使用的是Kafka;另外一个是消费离线的Hive表,去做ODS、DWD、DWS数仓分层的建设。如果已经接入了埋点的元数据,是否可以做流批一体的统一化管理,或者统一化的消费使用,做到一次的分流配置,它的实时跟离线均能够生效,而且两边的口径是对齐的。
复杂业务系统的通用架构设计法则
现如今,系统设计的关键已经变成分布式、云化、微服务化、大数据化。架构的本质依然没有改变,只是由于社会的发展,我们的需求,需要处理的问题、依赖愈来愈复杂,我们需要用发展的眼光,时刻追随技术前沿,进而推进、优化、迭代系统的架构设计。
干货 | 携程国际机票架构重构实践
大多数的技术研发都对重构有所了解,而每个研发又都有自己的理解。从代码重构到架构重构,我参与了携程大型全链路重构项目,积累了一点经验心得,在此抛砖引玉和大家分享。
月活近千万,连续365天无故障:货拉拉怎么做稳定性指标度量?
我在2021年加入货拉拉,当时技术稳定性刚刚处于起步阶段,很多工作待建。经过2年的努力,货拉拉技术稳定性体系完成了从0到1的建设,整体故障数降低了78%,同时SLA也从3个9提升到了4个9。今天的分享将结合过往在阿里本地生活技术风险体系下的经验沉淀,以及在货拉拉的实践成效,探讨技术稳定性的重要性和建设方法。
百度iOS端长连接组件建设及应用实践
本文旨在探讨长连接技术在移动端的实践,针对百度iOS端在建设长连接过程中的技术选型和整体架构逻辑将做重点展开。同时结合IM即时通讯案例的介绍和分析,展示长连接是如何在移动应用领域为类似业务场景提供解决方案的。
湖仓存储系统设计剖析和性能优化
本文将从元数据、Merge-On-Read等核心设计方面来剖析湖仓存储系统,对比当前流行的三种格式Delta Lake、Hudi、Iceberg的设计差异和优缺点,并分享我们在读写性能优化方面所做的思考和实际优化案例。
承上启下 浪潮计算机加速推动整机产业链高质量发展
强健的信息技术供应链是数字经济繁荣发展的重要基础,也是推动数字化创新、赋能数字生态建设的必要条件。在复杂、不确定性加剧的当前局势下,信息技术供应链被赋予了更多内涵,供应链的完备性、核心竞争力、抗风险能力等得到了更多的关注。
eBPF内核技术在滴滴云原生的落地实践
eBPF是Linux内核革命性技术,能够安全高效地扩展内核能力,应用广泛,尤其是在云原生可观测性领域的应用已经成为行业热点。在滴滴云原生环境中,eBPF技术进行了业务实践和内源共建,HuaTuo eBPF 平台快速落地并取得初步收益,目前已经支持云原生关键组件,诸如服务访问关系拓扑、容器安全、宿主机安全、网络诊断、根因定位等业务,HuaTuo也是滴滴开源委员会的精品孵化项目。
分布式存储架构发展及技术分析
从云和互联网的业务场景来看,其存储域主要采用基于服务器部署分布式存储服务的融合方式,它面临如下挑战 :数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量数据,大量数据需按照其生命周期策略(例如 8~10 年)进行保存。
转转C2B业务从零搭建精细化运营平台
本文介绍了转转C2B业务下精细化运营平台的搭建。在系统上线以来,在用户召回转化上有了一定的成效。在未来,会继续丰富系统的功能:更多的触达方式、更多的转化手段。也会持续探索系统开放性,让更多的业务可以接入使用。
“边缘+服务”,戴尔科技让边缘计算触手可及
根据IDC报告显示,未来5年,边缘计算服务器市场将继续保持高速增长,在中国的价值复合年增长率将达到22.5%,高于全球20.2%的水平。那么问题来了,我们如何满足市场对边缘计算应用需求的快速变化?如何提升行业用户在全球的竞争力?边缘计算如何满足多样化算力需求?戴尔科技给出了我们答案。
哔哩哔哩数据服务中台建设实践
数据需求方A,需要获取每日up主的收入进行数据分析。首先,A需要向数据产品提取数需求,数据产品会与其沟通指标口径,如up主的范围,收入定义,还有没有其他要下钻的维度等等;口径定义清楚之后,数据产品把需求提给对应的数据分析师,分析师拿到需求和口径定义后,找数据源、手工SQL逻辑,从而拉取到对应的数据,最后提供给A。