如何设计一个高效的分布式日志服务平台
本文首先介绍了分布式服务下日志服务建设的挑战,然后介绍了下业内ELK的通用解决方案及与天眼日志服务的差异性,接下来详细介绍了天眼日志服务平台的整体架构,如何做采集、传输、检索、隔离、清理等机制的,最后对日志服务与大模型进行结合,不断探索效能的提升。
亿级大型网站技术架构设计(一文搞懂)
任何大型网站都是从小变大的,这里会涉及到很多技术以及架构的知识,本篇就来谈谈大型网站架构相关的架构
风险洞察之事件总线的探索与演进
事件总线在数据统一标准化、代码逻辑规范化、高吞吐解析写入、插件化输入输出以及低代码化热加载等方面都拥有强大的能力。它能够提供高效的数据处理解决方案,支持灵活的数据流程自动化和端到端可视化,从而帮助企业更好地管理风险。
浅谈离线数据倾斜
数据倾斜是离线大数据开发过程中比较频繁遭遇的问题,也是经常导致线上问题的原因之一,本文从数据倾斜的概念、常用优化方案、典型业务场景、线上问题实例讲解、监控预防等多方面对离线数据倾斜进行了详细论述。
任务编排工具在之家业务系统中应用探究
本文主要介绍在之家广告业务系统中运用任务编排治理工具的场景及其可以解决的问题,讲解任务编排框架的核心要点,以及向大家演示一个任务编排框架的基本结构,让大家对任务编排工具增强业务开发效率,提高研发质量有更深刻的理解。
路径规划中的DRL与OR算法:对比与展望|得物技术
近些年,以机器学习为代表的人工智能技术逐渐被大家认识并在很多方面得到普及,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。运筹学作为一个看似古老的学科,科学家和工程师在过去开发了各种启发式或精确的求解方法,能够在有限的时间内返回一个尽可能好的结果。值得注意的是,上述算法均诞生于这轮AI大爆发之前,在AI时代,如何将最新的机器学习技术应用在运筹和组合优化,正在受到越来越多的关注。在芯片设计、求解器等“卡脖子”领域,基于机器学习的组合优化方法很可能成为将来的基础性技术。本博客以路径规划为例,探讨了传统的优化方法、深度强化学习类方法的研究现状和交叉融合趋势,分析了各自的特点以及在实际落地亟需解决的若干问题,也希望能探索相关算法在得物供应链场景的落地实践。
Monorepo vs. Microrepo: 选择适合你的代码仓库策略
在软件开发领域,选择合适的代码仓库策略对于优化协作、可扩展性和代码质量至关重要。Monorepo和Microrepo是两种流行的方法,它们提供了各自的优势和考虑因素。本文将探讨这两种策略的特点,解释为何不同的公司选择不同的选项,并讨论对于代码组织、可扩展性、依赖管理、治理以及工具支持的影响。
关于前后端JSON解析差异问题与思考
本文主要总结了作者在一次涉及流程表单的需求发布中遇到的问题及思考总结。
卡口服务——基于前端巡检系统的拓展实践|得物技术
体验是得物的业务关键词之一,对于前端开发而言,提高用户体验更是重要工作内容之一。 得物前端平台目前有巡检系统、监控平台等多种手段保障线上页面稳定运行,但是仍有一部分问题处于“监控死角”,而且巡检、监控都属于后置告警手段,为了确保页面上线前就能得到一定的用户体验保障,结合公司的战略目标,我们决定开发一个H5页面检测服务,用来前置检测即将上线的页面,提前暴露该页面可能存在的问题反馈给对应的开发/运营,我们将这个服务称之为:“体验卡口”。 本文从这次“体验卡口”服务的开发实践出发,同时介绍得物巡检系统的架构和设计,希望能给参与稳定性建设的开发小伙伴提供一定的学习和参考价值。
前端技术十年回顾
回到十年前,前端技术就像一名戴着厚重眼镜的书呆子,总是小心翼翼,被各种各样的浏览器兼容性问题欺负(就像在小学被欺负一样)。
架构成长之路 | 图解分布式共识算法Paxos教会协议
分布式共识算法是保证分布式一致性的基础,本文主要以简化类比的方式阐述了Paxos算法中的单法令教会会议(The Single-decree SYNOD)的算法。
Web 端实时防挡脸弹幕(基于机器学习)
防挡脸弹幕,即大量弹幕飘过,但不会遮挡视频画面中的人物,看起来像是从人物背后飘过去的。
纠删码技术在vivo存储系统的演进【上篇】
本文将学术界和工业界的纠删码技术的核心研究成果进行了相应的梳理,然后针对公司线上存储系统的纠删码进行分析,结合互联网企业通用的IDC资源、服务器资源、网络资源、业务特性进行分析对原有纠删码技术进行优化和微创新,提出了融合EC整体方案以及可落地的RS+LRC+中间结果优化+并行修复跨AZ带宽设计方案,为后续的工程实践提供重要原理和架构支撑。
软件高可用实践那些事儿
本文从高可用落地实践的角度,通过协作效率,技术落地和运营规范等几个层面,阐述了高可用具体实施步骤和落地细节。
百度离线资源治理
近些年移动互联网的高速发展驱动了数据爆发式的增长,各大公司之间都在通过竞争获得更大的增长空间,大数据计算的效果直接影响到公司的发展,而这背后其实依赖庞大的算力及数据作为支撑,因此在满足业务迭代的前提下如何控制成本是公司非常重要的一环。
架构演进之路及微服务原理
单体架构单体架构是指一个系统中所涉及的所有组件都打包在一起进行部署和运行。比如:打包成 war 包,部署在 tomcat 容器。
百亿数据百万查询——关系链架构演进
从主站业务角度来看,关系链指的是用户A与用户B的关注关系。以关注属性细分,以关注(订阅)为主,还涉及拉黑、悄悄关注、互相关注、特别关注等多种属性或状态。目前主站关系链量级较大,且还以较快速度持续增长。作为一个平台型的业务,关系链服务对外提供一对多关系点查、全量关系列表、关系计数等基础查询,综合查询峰值QPS近百万,被动态、评论等核心业务依赖。
规则引擎技术在转转钱包的实践
让我们先来看一个有趣的猜数字小游戏:玩家需要猜测一个1到100之间的随机数字。每次猜测后,系统会提示玩家所猜的数字是大于还是小于随机数,玩家需要根据提示继续猜测,直到猜中为止。
可以,很强,68行代码实现Bean的异步初始化,粘过去就能用。
SOFABoot 是蚂蚁金服开源的基于 Spring Boot 的研发框架,它在 Spring Boot 的基础上,提供了诸如 Readiness Check,类隔离,日志空间隔离等能力。在增强了 Spring Boot 的同时,SOFABoot 提供了让用户可以在 Spring Boot 中非常方便地使用 SOFA 中间件的能力。
Flutter动态化—Fair一站式开发流
Flutter 是 Google 开源的跨平台 UI 框架,其凭借“多端一致”和“渲染性能”上的优势成为越来越多开发者的首选。但随着使用规模加大,为了解决诸多快速迭代的业务产品线及需求,动态化成为了当下亟需解决的问题