ITPub博客

作为一个拥有庞大年轻用户群体和多元化内容资源的视频平台，B站为广告主提供了丰富的投放场景。为了实现更精准的广告投放，B站商业化技术团队深入挖掘用户、物料、场景等多方面的数据特征，并构建精细化的目标受众画像。这些数据在经过特征计算后会成为模型训练所需的训练样本，通过模型训练得到能够对广告创意进行点击率、转化率预估的深度模型。当用户进行访问时，作为广告检索引擎的一部分，在线CTR预估服务会使用深度模型，对候选集内的广告创意逐个进行点击率、转化率预估，这些数值会在精选阶段用来挑选出价值最高的广告创意返回给用户。模型预估的准确性直接决定了广告检索引擎的效果，为了确保模型训练和模型推理阶段所使用的样本数据的一致性，提供一个全面、稳定、高效的广告特征平台显得尤为重要。

经过近几年的技术演进，语义模型在百度搜索场景中被广泛地应用，消耗了大量的GPU资源，模型压缩技术也随之得到大量研究和实践。通过兼顾推理性能、业务效果和迭代效率的优化目标，我们成功地将INT8量化技术大面积地应用到了搜索场景中，极大地提高了资源效能。此外，目前大模型正在被研究和应用，算力资源已经成为瓶颈，如何以更低的成本进行落地是一个非常热点的问题。基于对模型压缩技术的实践和积累，我们能够更好地助力大模型的探索和应用。

本文介绍了长连接服务中使用Netty框架，对内存泄漏问题的排查、复现、解决的案例，是研发开发中非常典型的实战问题解决。同时本文介绍了Netty中对象的引用计数机制，并总结了Netty内存泄漏问题的排查方案。

这篇文章，笔者想聊聊那些在业务系统中较少被使用，但却活跃于中间件或者框架里，强大却又低调的缓存，笔者愿称他们为缓存世界的扫地僧。

决策树是一类常见的机器学习方法。以二分类任务为例，从给定的训练数据集中学得一个模型用以对新的数据进行分类，属于监督学习的一种算法。二分类是分类问题中最简单的一个方法，即通过已有的特征属性判断事物或者事件的类别，其产生的结果只有1或者0，即要么属于该类别，要么不属于该类别。分类模型有着广泛的应用，比如

本文介绍了互联网业务数据效果评估的几种常见问题及方法，并基于分层抽样的逻辑优化出一套可应用于解决用户不均匀的“事后达尔文"分析法，可适用于无法AB测试或人群不均匀的AB测试等场景下的效果评估中，本文会基于实际应用案例，来给大家仔细阐述相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家，如果能对大家在各自领域中的业务效果评估有所助益的话，那就更棒了！

小红书社区技术团队提出了一项全新任务 —— Open-vocabulary Object Attribute Recognition（面向开放词汇的目标检测与属性识别）。该任务旨在采用单一模型对图像中任何类别目标同时进行定位、分类和属性预测，从而推动目标识别能力向更高的深度和广度发展。本文提出了 OvarNet 这一全新模型，OvarNet 基于海量多模态数据预训练的视觉语言模型开发，利用可获得的目标检测和属性识别数据进行 Prompt Learning（提示式学习）。同时，为了进一步获得高度可用的 Zero-shot 识别能力，我们从大规模图文数据中提取细粒度的类别和属性表示，进行弱监督学习。此外，我们还采用知识蒸馏的方式简化模型计算复杂度，显著提升 OvarNet 的实用性和时效性。实验结果表明，OvarNet 在开集目标检测和属性识别任务上取得了新 SOTA，证明了识别语义类别和属性

在线应用的诊断一直是日常维护中的难点和痛点，2018年下半年，Alibaba 开源了 java 应用诊断工具 arthas ，让 java 应用的诊断能力上了一个台阶。作为基础架构团队，我们自然也对它非常感兴趣。研究后发现，arthas 确实是一个非常优秀的 java 诊断工具，但是也存在一些不足。

随着Flink实例的迁移下云以及新增需求接入，自建Flink平台规模逐渐壮大，当前总计已超4万核运行在自建的K8S集群中，然而 Flink 任务数的增加，特别是大状态任务，每次Checkpoint 时会产生脉冲式带宽占用，峰值流量超过100Gb/s，早期使用OSS作为Checkpoint数据存储，单个Bucket 每 1P数据量只有免费带宽10Gb/s，超出部分单独计费，当前规模每月需要增加1x w+/月。 为了控制这部分成本，得物开展了自建HDFS在Flink Checkpoint场景下的落地工作，实现年度成本节省xxx万元。 此次分享自建HDFS在实时计算checkpoint场景的实践经验，希望能为读者提供一些参考。

本文首先介绍了分布式服务下日志服务建设的挑战，然后介绍了下业内ELK的通用解决方案及与天眼日志服务的差异性，接下来详细介绍了天眼日志服务平台的整体架构，如何做采集、传输、检索、隔离、清理等机制的，最后对日志服务与大模型进行结合，不断探索效能的提升。

任何大型网站都是从小变大的，这里会涉及到很多技术以及架构的知识，本篇就来谈谈大型网站架构相关的架构

事件总线在数据统一标准化、代码逻辑规范化、高吞吐解析写入、插件化输入输出以及低代码化热加载等方面都拥有强大的能力。它能够提供高效的数据处理解决方案，支持灵活的数据流程自动化和端到端可视化，从而帮助企业更好地管理风险。

数据倾斜是离线大数据开发过程中比较频繁遭遇的问题，也是经常导致线上问题的原因之一，本文从数据倾斜的概念、常用优化方案、典型业务场景、线上问题实例讲解、监控预防等多方面对离线数据倾斜进行了详细论述。

本文主要介绍在之家广告业务系统中运用任务编排治理工具的场景及其可以解决的问题，讲解任务编排框架的核心要点，以及向大家演示一个任务编排框架的基本结构，让大家对任务编排工具增强业务开发效率，提高研发质量有更深刻的理解。

近些年，以机器学习为代表的人工智能技术逐渐被大家认识并在很多方面得到普及，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视，并掀起新一轮的人工智能热潮。运筹学作为一个看似古老的学科，科学家和工程师在过去开发了各种启发式或精确的求解方法，能够在有限的时间内返回一个尽可能好的结果。值得注意的是，上述算法均诞生于这轮AI大爆发之前，在AI时代，如何将最新的机器学习技术应用在运筹和组合优化，正在受到越来越多的关注。在芯片设计、求解器等“卡脖子”领域，基于机器学习的组合优化方法很可能成为将来的基础性技术。本博客以路径规划为例，探讨了传统的优化方法、深度强化学习类方法的研究现状和交叉融合趋势，分析了各自的特点以及在实际落地亟需解决的若干问题，也希望能探索相关算法在得物供应链场景的落地实践。

在软件开发领域，选择合适的代码仓库策略对于优化协作、可扩展性和代码质量至关重要。Monorepo和Microrepo是两种流行的方法，它们提供了各自的优势和考虑因素。本文将探讨这两种策略的特点，解释为何不同的公司选择不同的选项，并讨论对于代码组织、可扩展性、依赖管理、治理以及工具支持的影响。

本文主要总结了作者在一次涉及流程表单的需求发布中遇到的问题及思考总结。

体验是得物的业务关键词之一，对于前端开发而言，提高用户体验更是重要工作内容之一。 得物前端平台目前有巡检系统、监控平台等多种手段保障线上页面稳定运行，但是仍有一部分问题处于“监控死角”，而且巡检、监控都属于后置告警手段，为了确保页面上线前就能得到一定的用户体验保障，结合公司的战略目标，我们决定开发一个H5页面检测服务，用来前置检测即将上线的页面，提前暴露该页面可能存在的问题反馈给对应的开发/运营，我们将这个服务称之为：“体验卡口”。 本文从这次“体验卡口”服务的开发实践出发，同时介绍得物巡检系统的架构和设计，希望能给参与稳定性建设的开发小伙伴提供一定的学习和参考价值。

回到十年前，前端技术就像一名戴着厚重眼镜的书呆子，总是小心翼翼，被各种各样的浏览器兼容性问题欺负（就像在小学被欺负一样）。

分布式共识算法是保证分布式一致性的基础，本文主要以简化类比的方式阐述了Paxos算法中的单法令教会会议（The Single-decree SYNOD）的算法。