多云管理系列之云网络实践
云网络是IT和CT融合的产物。云网络并不是要重建一张新的网络来取代现有的网络基础设施,而是在现有网络基础上通过网络虚拟化等技术重构。前面讲到,云计算驱动云网络的诞生,云网络其实是CT(Communication Technology,通信技术)与IT( InformationTechnology,信息技术,这里主要是云计算)融合的产物。其次,云网络其实一种是网络服务,也是一张面向企业租户和应用的虚拟网络。最后,云网络是数字经济的连接,连接计算、存储、数据库等等,也连接企业/IDC/总部/分支/IoT终端/个人移动端等等。云网络和传统网络的最大区别是云网络具备共享/弹性/自助服务/按需等云的特征[1]
百度搜索exgraph图执行引擎设计与实践
百度搜索exgraph图执行引擎设计重点分成三个部分:图描述语言、图执行引擎、对接扩展。 图描述语言是一种基于文本可读的图描述语言,用于描述任务中的算子以及算子之间的依赖关系,即让人可以理解,也可以被计算机理解并执行。 图执行引擎是exgraph的核心,负责根据图描述语言生成的图语法树进行高效执行。它支持如串行、并行、中断、选择等范式,以满足不同场景下的需求。 对接扩展则提供了与其他协议框架的接口,方便用户将exgraph集成到现有的系统中。 总之,exgraph图执行引擎设计的目标是实现高效、灵活的任务编排,以满足复杂逻辑处理需求。
订单视角看支付|得物技术
目录 一、支付系统历史与演进 1. 起源:票号与钱庄 2. 第一阶段:手工联行(1989前) 3. 第二阶段:电子联行(1989~2005) 4. 第三阶段:现代化支付系统(2005~至今) 二、支付系统基本概念 1. 核心概念 2. 常用支付形式 三、支付系统简介 1. 整体架构 2. 支付流程 3. 资金流与信息流 4. 资金结算 5. 资金安全 四、订单与支付 1. 得物订单与支付交互 2. 订单开发中常见支付相关问题 五、总结
云原生架构升级之平台化服务治理
服务限流功能是保护服务的重要手段,外部流量请求量超过了系统处理能力的极限,后续新进入的请求会持续加重服务负载,导致资源耗尽发生服务出错。限流的目的就是拒绝过多的请求流量,保证服务整体负载处于合理水平。系统的吞吐量一般是可以被测算的,为了保证系统的稳定运行,一旦达到需要限制的阈值,就需要采取措施限制流量,比如延迟处理、拒绝处理,或者部分拒绝处理等。
万字长文谈B站变更管控体系设计与实践
转转服务瘦身实战
1 背景 2 第一步-发现并下掉僵尸服务 2.1 如何发现僵尸服务 2.2 如何下掉僵尸服务 3 第二步-发现并下掉僵尸方法 3.1 如何发现僵尸方法 3.2 如何删除僵尸方法 4 第三步-发现并下掉僵尸组件依赖 4.1 如何发现僵尸组件依赖 4.2 如何下掉僵尸组件依赖 5 总结与成果 参考
空间索引技术在58搜索中的落地实践 – BKD技术原理深入剖析
一直以来,在涉及搜索引擎的空间数据检索、空间数值数据查询或范围查询问题领域,BKD或BKD-Tree技术作为空间索引技术的重要方面,一直是被讨论的一个绕不开的热门话题。在网络上有关BKD的技术文章或博客、贴文,虽然也有一些,然而多是言之不精,浅谈辄止,良莠不齐,让很多想学习、掌握BKD技术要点和技术内幕的人不得其法,徘徊在困惑迷茫的新手之路上。着眼于此,本文正是这样一篇全面、深入讲述BKD前世今生、技术内幕和算法本质的技术文章,力求呈现细胞级的深刻论述表达,演绎透彻流畅的算法思想理解脉络,通篇辅以详实的算法伪代码展现,力求达到"理解后即可实践", 全在这一篇文章。关于BKD技术,只看这一篇就足够了。
大语言模型系列—预训练数据集及其清洗框架|得物技术
目录 一、内容概要 二、预训练数据集 1. 英文数据集 2. 中文数据集 3. 多语种 4. 数据集对比和小结 三、文本清洗框架 1. SlimPajama 框架 2. MNBVC 框架 3. CC-NET 框架 4. 文本清洗框架对比和小结 四、总结和展望
记录业务系统操作日志方案实践
在日常业务需求开发中,经常有对关键业务功能做操作日志记录,即某用户在某一时间操作某功能,操作前后的数据记录。尤其是在按业务功能模块拆分成多个project时,就会面临记录操作日志与业务逻辑之间解耦、记录操作日志更加简单、操作前后业务数据(字段)对比等问题。 接下来我们将介绍一种易于理解、简单接入操作日志的方法,同时提供一个通用的接口,方便前端开发者进行页面展示。
B站WebRTC测试实践
RTC(Real time communication)实时通信,是实时音视频的一个简称,我们常说的RTC技术一般指的是WebRTC技术。
高效开发与设计:提效Spring应用的运行效率和生产力
导读 随着Java开发者社区对Spring框架的深入使用,我们越来越认识到在大型应用中,启动速度和性能优化的重要性。本文将深入探讨如何通过专业分析和优化技术,显著提升Spring应用程序的启动速度和运行性能,解决了开发过程中的效率瓶颈和线上服务的快速扩容需求。
818台网直播技术解析与优化策略
在万物互联的新时代,数字经济势不可挡,“数字化转型”成为热词,其中直播作为数字化经济发展的重要一环,已然成为当下最热门的互联网场景应用之一,同时也是企业传播信息、展示产品以及与用户进行互动的重要渠道之一。而其中的核心技术——推拉流技术,更是直播过程中不可或缺的关键环节。直播推拉流技术是指通过网络将实时视频信号从源端推送到服务器端,然后再由观众端通过网络接收并播放的过程。它广泛应用于各类直播平台、在线教育、远程会议等场景下。但是,直播推拉流过程中常常会遇到一些技术问题,如延迟、卡顿、画质模糊等,需要针对这些问题进行优化。今天的分享,将通过对之家818台网直播推拉流技术保障的讲解,为大家揭秘直播技术的高可用解决方案和优化策略。
“踩坑”经验分享:Swift语言落地实践
百度App 已在工程和环境上支持 Swift 开发,百度搜索大前端团队负责搜索服务的稳定落地,我们积极探索 Swift的应用,希望能大幅提升开发效率和灵活性、提升端用户的搜索体验。然而,在实施过程中可能会遇到各种问题,例如代码陈旧且不支持Swift,人员对Swift掌握不够熟练、意识不足,协作方对Swift的支持不足等。 对于其他语言来说,Swift相对年轻,我们在实践过程中整理一些常见问题及其解决方法,希望能帮助读者更顺利地使用Swift进行编程,提高研发效率。
Jedis连接池究竟是何物|得物技术
目录 一、前言 二、原理概述 1. 图示 2. 类结构 3. Jedis里如何使用的 三、深入分析 1. 参数说明 2. 核心方法 2.1 BorrowObject 2.2 ReturnObject 四、内部机制 1. Evict(定期驱逐/保活机制) 2. Test(检查机制) 3. Abandoned(抛弃机制) 五、排障方式 六、总结
如果你也在用ZK,那这个导致集群挂掉的坑一定得注意!
0 结论 1 问题背景 2 现象 2.1 环境配置 2.2 现象 3 排查过程 3.1 10号3888端口的状态 3.2 10号的jstack状态 3.3 6号的3888端口也挂了 4 原因分析 4.1 网上求证 4.2 高版本优化 5 总结
粗排优化探讨|得物技术
目录 一、背景 二、粗排定位 1. 粗排与精排的异同 2. 粗排与召回的异同 三、评估指标与方案设计 1. 全域 Hitrate 评价体系 2. 评估方案设计 四、样本设计 1. 样本选择方法 2. 粗排样本组成方案 五、粗排技术路线 1. 两种技术路线 2. 发展路线 六、粗排优化方向 1. 双塔 2. 知识蒸馏 3. 轻量级全连接 4. 多目标 5. 多场景 七、相关实践 1. 双塔单目标粗排 2. 三塔多目标粗排 3. 多目标+场景特征优化 八、总结
爬虫与反爬-接口安全的风控介绍
接口反爬,或者说更广义的接口安全,一直以来都是网站和app绕不开的基础问题。尤其是平台的规模扩大,各种功能性的接口包含的信息量越来越多,这也让各种目的的脚本爬虫有了获利的空间和爬取数据的动力。
一口气看完43个关于 ElasticSearch 的使用建议|得物技术
目录 一、前言 二、查询相关 1. 充分利用缓存 2. 聚合查询 3. 分页 4. 其他 三、写入相关 四、索引创建 1. 分片 2. Mapping 设计 3. Keyword 和 Numeric 的选择 五、总结
小红书可观测 Metrics 架构演进,如何实现数十倍性能提升?
目录 1.背景 1.1 小红书 Metrics 发展情况 1.2 面临的问题 2.演进历程 2.1 采集 2.2 高可用改造 2.3 查询优化 2.4 高基数治理 2.5 跨云多活 3.总结与展望 4.作者简介
Flutter 全埋点的实现|得物技术
目录 一、前言 二、实现原理 1. 前端编译 2. Dart AOP 2.1 设计思路 2.2 技术难点 三、全埋点 1. 用户操作路径 1.1 路径追踪 1.2 事件与手势 2. 业务信息 2.1 设计思路 2.2 关键实现 3. 最终效果 四、其他收益 五、总结