ITPub博客

近期，GPT大模型的发布给自然语言处理（NLP）领域带来了令人震撼的体验。随着这一事件的发生，一系列开源大模型也迅速崛起。依据一些评估机构的评估，这些开源模型大模型的表现也相当不错。一些大模型的评测情况可以去这里查询：Huggingface的Open LLM排行榜，UC伯克利发布大语言模型排行榜等。

公司在经过多年的发展，部门架构的演进，产生了大量的管理后台，包括运营平台、技术后台等。有持续迭代的，有年久失修的，也存在大量无人认领和维护的。

eBPF是Linux内核革命性技术，能够安全高效地扩展内核能力，应用广泛，尤其是在云原生可观测性领域的应用已经成为行业热点。在滴滴云原生环境中，eBPF技术进行了业务实践和内源共建，HuaTuo eBPF 平台快速落地并取得初步收益，目前已经支持云原生关键组件，诸如服务访问关系拓扑、容器安全、宿主机安全、网络诊断、根因定位等业务，HuaTuo也是滴滴开源委员会的精品孵化项目。希望本文为业界开发者提供一种如何将eBPF 技术快速应用到云原生场景的落地方式，共同提升云原生系统深度可观测性。

公司正在进行数据战略转型，因此我们面临的数据需求越来越多，而我们拥有的指标数据越来越丰富。不过，仅仅拥有数据并不够，我们需要能够更加灵活高效的使用这些数据，以应对频繁多变的数据需求。传统的数据业务开发流程效率低下，无法及时响应变化的需求。因此，我们必须找到一种快速、灵活的解决方案，以满足我们快速变化的需求。

本文从Archunit的比较优势、功能和验证范围介绍、引入方式多方面进行阐述，介绍了Archunit在降低或及早发现架构腐化现象的发生，保持统一的系统架构约束中的作用。Archunit对架构约束的自动化检测极有价值，且具有较低的接入和定制化成本。

RocketMQ 主从复制是 RocketMQ 高可用机制之一，数据可以从主节点复制到一个或多个从节点。

在我们之前设计的一个供应链系统中，它包含了商品、销售订单、加盟商、门店运营、门店工单等服务，涉及了各种用户角色，比如总部商品管理、总部门店管理、加盟商员工、门店人员等，而且每个部门的角色还会进行细分。而且这个系统中还包含了两个客户端 App：一个面向客户，另一个面向公司员工和加盟商。

本文介绍了什么是分布式ID，分布式ID的业务场景以及9种分布式ID的实现方式，同时基于vivo内部IT的业务场景，介绍了自研鲁班分布式ID服务的实践。

携程火车票事业群运营着铁友、携程火车票和去哪儿火车票等重要的业务和品牌，目前正在积极地拓展海外市场。火车票的指标平台旨在为业务人员提供便捷的指标查询服务，让业务人员能够快速灵活地获得这些业务和品牌相关的指标数据。

设计模式在软件开发中被广泛使用。通过使用设计模式，开发人员可以更加高效地开发出高质量的软件系统，提高代码的可读性、可维护性和可扩展性。而责任链模式是一种常用的设计模式，在 SpringMVC、Netty 等许多框架中均有实现。pie 源于 Netty 中责任链的实现代码，绝大部分的 API 与 Netty 是一致的。pie 是一个可快速上手的责任链框架，开发者只需要专注业务，开发相应的业务 Handler，即可完成业务的责任链落地。本文介绍了如何使用 pie 框架进行责任链模式开发。

规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据业务规则做出业务决策。

作为一个拥有庞大年轻用户群体和多元化内容资源的视频平台，B站为广告主提供了丰富的投放场景。为了实现更精准的广告投放，B站商业化技术团队深入挖掘用户、物料、场景等多方面的数据特征，并构建精细化的目标受众画像。这些数据在经过特征计算后会成为模型训练所需的训练样本，通过模型训练得到能够对广告创意进行点击率、转化率预估的深度模型。当用户进行访问时，作为广告检索引擎的一部分，在线CTR预估服务会使用深度模型，对候选集内的广告创意逐个进行点击率、转化率预估，这些数值会在精选阶段用来挑选出价值最高的广告创意返回给用户。模型预估的准确性直接决定了广告检索引擎的效果，为了确保模型训练和模型推理阶段所使用的样本数据的一致性，提供一个全面、稳定、高效的广告特征平台显得尤为重要。

经过近几年的技术演进，语义模型在百度搜索场景中被广泛地应用，消耗了大量的GPU资源，模型压缩技术也随之得到大量研究和实践。通过兼顾推理性能、业务效果和迭代效率的优化目标，我们成功地将INT8量化技术大面积地应用到了搜索场景中，极大地提高了资源效能。此外，目前大模型正在被研究和应用，算力资源已经成为瓶颈，如何以更低的成本进行落地是一个非常热点的问题。基于对模型压缩技术的实践和积累，我们能够更好地助力大模型的探索和应用。

本文介绍了长连接服务中使用Netty框架，对内存泄漏问题的排查、复现、解决的案例，是研发开发中非常典型的实战问题解决。同时本文介绍了Netty中对象的引用计数机制，并总结了Netty内存泄漏问题的排查方案。

这篇文章，笔者想聊聊那些在业务系统中较少被使用，但却活跃于中间件或者框架里，强大却又低调的缓存，笔者愿称他们为缓存世界的扫地僧。

决策树是一类常见的机器学习方法。以二分类任务为例，从给定的训练数据集中学得一个模型用以对新的数据进行分类，属于监督学习的一种算法。二分类是分类问题中最简单的一个方法，即通过已有的特征属性判断事物或者事件的类别，其产生的结果只有1或者0，即要么属于该类别，要么不属于该类别。分类模型有着广泛的应用，比如

本文介绍了互联网业务数据效果评估的几种常见问题及方法，并基于分层抽样的逻辑优化出一套可应用于解决用户不均匀的“事后达尔文"分析法，可适用于无法AB测试或人群不均匀的AB测试等场景下的效果评估中，本文会基于实际应用案例，来给大家仔细阐述相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家，如果能对大家在各自领域中的业务效果评估有所助益的话，那就更棒了！

小红书社区技术团队提出了一项全新任务 —— Open-vocabulary Object Attribute Recognition（面向开放词汇的目标检测与属性识别）。该任务旨在采用单一模型对图像中任何类别目标同时进行定位、分类和属性预测，从而推动目标识别能力向更高的深度和广度发展。本文提出了 OvarNet 这一全新模型，OvarNet 基于海量多模态数据预训练的视觉语言模型开发，利用可获得的目标检测和属性识别数据进行 Prompt Learning（提示式学习）。同时，为了进一步获得高度可用的 Zero-shot 识别能力，我们从大规模图文数据中提取细粒度的类别和属性表示，进行弱监督学习。此外，我们还采用知识蒸馏的方式简化模型计算复杂度，显著提升 OvarNet 的实用性和时效性。实验结果表明，OvarNet 在开集目标检测和属性识别任务上取得了新 SOTA，证明了识别语义类别和属性

在线应用的诊断一直是日常维护中的难点和痛点，2018年下半年，Alibaba 开源了 java 应用诊断工具 arthas ，让 java 应用的诊断能力上了一个台阶。作为基础架构团队，我们自然也对它非常感兴趣。研究后发现，arthas 确实是一个非常优秀的 java 诊断工具，但是也存在一些不足。

随着Flink实例的迁移下云以及新增需求接入，自建Flink平台规模逐渐壮大，当前总计已超4万核运行在自建的K8S集群中，然而 Flink 任务数的增加，特别是大状态任务，每次Checkpoint 时会产生脉冲式带宽占用，峰值流量超过100Gb/s，早期使用OSS作为Checkpoint数据存储，单个Bucket 每 1P数据量只有免费带宽10Gb/s，超出部分单独计费，当前规模每月需要增加1x w+/月。 为了控制这部分成本，得物开展了自建HDFS在Flink Checkpoint场景下的落地工作，实现年度成本节省xxx万元。 此次分享自建HDFS在实时计算checkpoint场景的实践经验，希望能为读者提供一些参考。