记一次事务里发普通消息的线上问题排查过程
商业退款业务,每周都会有几笔退款订单自动处理失败,究其直接原因,是因为数据表里的一个字段cost更新失败导致。抽象一下,业务场景大概是这样的:系统A处理完一笔订单后,会发送MQ,系统B消费系统A的MQ,消费过程中,会去系统A拉取信息,然后更新系统B对应的表信息。
网易云音乐为何选Pinpoint来建服务监控系统?
云音乐服务监控系统(代号:Pylon APM)为业务提供服务监控、链路追踪、治理分析、问题诊断等能力,本文介绍了平台建设中的一些实践经验。
简单一招竟把nginx服务器性能提升50倍
本文记录了一次基于实际业务场景的nginx调优过程,通过一步步的分析实践把服务器整体性能提升了50倍。
商家可视化埋点探索和实践|得物技术
在数字产品的数据分析实践中,手动代码埋点方式因其精确性和定制化的优势长期被许多组织采用,但随着业务快速发展和迭代需求的增加,传统手动埋点方法的时间消耗、一定的技术门槛和较高的维护成本成为研发角色的负担。
百度集合通信库BCCL万卡集群快速定位故障
在分布式训练中,每一块 GPU 只负责处理部分模型或者数据。集群中不同 GPU 之间通过集合通信的方式,完成梯度同步和参数更新等操作,使得所有 GPU 能够作为一个整体加速模型训练。
传统数据中心转型智算中心要花多少钱?
传统数据中心向智能计算中心(智算中心)转型是一项复杂而富有挑战性的任务,主要涉及到技术、操作、管理和战略等多个层面的问题。传统数据中心中的旧有技术和系统不适用于智能计算中心的高效率和自动化要求。将这些旧系统升级或与新技术集成,会遇到兼容性问题,需要投入大量时间和资源。
滴滴基于Clickhouse构建新一代日志存储系统
ClickHouse 是2016年开源的用于实时数据分析的一款高性能列式分布式数据库,支持向量化计算引擎、多核并行计算、高压缩比等功能,在分析型数据库中单表查询速度是最快的。2020年开始在滴滴内部大规模地推广和应用,服务网约车和日志检索等核心平台和业务。本文主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。
降本增效 百TB级Redis自动化运维体系建设
疫情三年对全球经济造成了巨大冲击,许多公司的业务量大幅下滑,旅游业更是遭受了重创。在这样的大环境下,公司为了降低运营成本,不得不采取一系列措施来缩减开支。其中,对于 DBA 这种运维团队来说,降低成本最直接的方法就是减少机器的开销。
小红书如何实现数仓效率与成本的双重优化
在当今以数据为核心的商业环境中,企业正面临着海量数据的处理和分析挑战。为克服传统数据仓库在处理速度、灵活性和成本效率方面的局限,小红书数据仓库团队引入如 Apache Iceberg 等数据湖技术,将其与数仓架构相结合,以释放数据湖在查询性能、实时数据处理和成本效益方面的潜力。
多场景静态化编译在两轮SAAS用车实践
在用车saas化推广兼容小品牌用车的过程中,由于用户交互、接口数据、业务流程在主品牌与小品牌之间存在差异性,导致代码分叉过多,影响可读性与可编辑性;两侧用车能力存在部分混入,造成运行时代码过大;单一场景迭代容易干扰其他端侧用车能力;后续还会拓展到端外用车,上述问题会继续放大。
新一代数据架构的性能与成本平衡之道
Alluxio 大致可分为两个部分:Alluxio Service 和 Alluxio Local Cache。Alluxio Local Cache 为计算存储分离的计算环节实现了数据本地化,通过这种方式来加速查询,同时减少对 underline 的 FS 的 request 和对应的数据的出口,从而提高性能并节省成本。
大模型在新能源汽车行业的应用与实践
本次分享的主题为大模型在汽车工业化的实践与应用,主要聚焦于工业制造相关的案例和落地经验。总共分为五部分:1. ChatGPT 发展历程;2. 大模型底层原理;3. 大模型赋能新型工业化;4. 工业化中的实践与探索。
基于接口数据变异的App健壮性测试实践
本文整理自美团技术沙龙第77期《美团亿级流量系统的质量风险防控和稳定性治理实践》,主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念;第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路;第三部分主要解读了变异数据的构造和异常检测方案设计;第四部分介绍了精简变异数据的探索方案。
高效构建vivo企业级网络流量分析系统
随着网络规模的快速发展,网络状况的良好与否已经直接关系到了企业的日常收益,故障中的每一秒都会导致大量的用户流失与经济亏损。因此,如何快速发现网络问题与定位异常流量已经成为大型企业内必须优先解决的问题,诸多网络流量分析技术也同时应运而生。
滴滴借助StarRocks物化视图实现低成本精确去重
滴滴于 2022 年引入了 StarRocks。经过一年多的努力,StarRocks 逐渐替代了原有技术栈,成为滴滴内部主要的 OLAP 引擎。截至 2023 年 12 月,滴滴已经成功建立了超过 40 个 StarRocks 集群,每日查询量在千万量级,拥有超过 3000 张数据表。
大规模数据中心网络发展的七大趋势
超大规模数据中心网络无论是在架构、技术还是运维上都发生了巨大的变革,有效地支持了互联网和云计算过去10年的繁荣。展望未来,在人工智能、大数据、物联网、云原生等技术和业务的驱动下,数据中心网络该向何处发展是专业人士们必须考虑和面对的问题。该文结合行业发展测未来超大规模数据中心网络的发展趋势如下:
管了3年K8S集群,我学到的10个经验教训
在过去的三年里,我穿越了管理Kubernetes集群的时而波澜起伏的领域。这段充满挑战和发现的旅程让我深刻理解了这一尖端的技术,以及众多的其他方面。在这篇文章中,我想与您分享我作为Kubernetes集群管理员所学到的十个最有价值的教训。
字节跳动大规模多云CDN管理与产品化实践
火山引擎边缘云融合CDN团队负责人孙益星在LiveVideoStack Con 2023上海站围绕融合CDN团队持续建设多云CDN平台的演进过程,结合建设过程中面临的难点和挑战,介绍了融合CDN团队接下来的主要投入方向,分享了火山引擎在多云应用架构下的CDN运维管理解决方案。
大模型在产品原型生成中的应用实践
在 B 端研发过程中,产品原型在产品需求文档中起着重要的作用。然而,在实际的开发过程中,我们发现了一些问题。首先,在需求评审阶段,有些产品需求文档可能缺少原型或者原型与研发团队的规范不一致,这需要研发同学与产品同学沟通补充原型图或者按照研发团队的规范进行绘制,这增加了产品同学和研发团队之间的沟通成本以及增加了产品同学的学习成本。
英特尔烧起代工大锅饭,微软、英伟达、高通、谷歌、AMD是食客
英特尔在美国圣何塞召开了Intel Foundry Direct Connect大会,会上公布了其代工服务的最新技术、生态进展和战略规划,并明确表达出要扩展制程路线图,称霸AI时代系统级代工。