ITPub博客

日志中中台每日传输的日志PV量级可达千亿级，在上报过程中减少冗余日志数据，能够降低下游数据处理的难度和成本，提高数据的准确性和质量，更好地支持业务系统的运行和优化。本文介绍了UBC SDK对日志重复打包的优化实践，通过对数据库、进程和打点机制进行优化，有效地将日志级别重复率由千分之三降低至万分位。

一、简介 二、知识抽取分类 ‍三、标签词挖掘 1. 无监督方法 1.1 基于统计的方法 1.2 基于图的方法 Graph-Based Model 1.3 基于表征的方法 Embedding-Based Model 2. 有监督方法 3. 远监督方法 3.1 AutoPhrase 四、标签词分类 1. 有监督方法 1.1 NER 序列标注模型 2. 远监督方法 2.1 AutoNER 2.2 BOND 五、总结

“' 质量'是汽车之家技术体系的核心重点，用高质量的技术产品交付一流的用户体验”。 -- 汽车之家CTO项碧波对汽车之家技术委员会明确指示，质量对于汽车之家整体业务、用户体验，以及每一个技术人的重要性。

推荐系统致力于解决用户的信息过载、内容的精准投放和公司的目标最大化问题。在汽车之家，每天有数万至数十万的新物料产生，新物料代表了新的内容、新的资讯、新的事件和新的趣闻。而这些新物料加入推荐池后，由于其缺乏用户-物料的行为交互，较难发现其目标用户从而进行有效投放，在行为数据主导的推荐场景更是如此。为了解决新物料的分发慢、效果差问题，之家进行了一系列的策略和算法尝试，显著提升了新物料的分发速率和分发效果。

目录 一、背景 二、监控类型 1. 性能监控 2. 异常告警监控 3. 日常巡检监控 三、监控知识梳理 1. 前端监控的必要性 2. 前端监控目标 2.1 保证稳定性（错误监控） 2.2 提升用户体验（性能监控） 2.3 针对业务进行统计 3. 前端监控的流程 3.1 前端埋点方案 3.2 监控脚本 四、结语

1 多任务多场景问题概述 1.1 背景介绍 1.2 多任务问题解决方案 1.3 多场景问题解决方案 2 业界解决方案简述 3 转转的多业务多场景问题及解决实践 3.1 问题与解决方案 3.2 未来规划

随着人工智能技术的快速发展，B站已经有非常多的AI算法可以用来助力多媒体业务，诸如超分辨率、人脸增强、视频插帧、窄带高清等等。如今，以扩散模型（Stable Diffusion）和大语言模型（LLM）掀起的生成式AI浪潮又给多媒体业务带来了更多技术可能。相对于各类AI算法模型的研发，模型推理与视频处理框架在多媒体业务部署中的重要性更为凸显，是工程化”基座“的存在。一个优秀的多媒体AI算法工程化框架，不仅可以提供更高的运行性能、异构计算及多平台支持等功能，同时也增加代码复用率，提升开发效率，加速了业务部署上线。为此，我们研发了一套多媒体业务算法工程化SDK，Bilibili Vision Toolkit (简称BVT)，为B站的各类点/直播业务提供AI算法支撑，已在线上提供了上亿量级的视频稿件处理。另外，BVT是对之前同样也是我们研发的一款视频处理引擎BANG做了重新设计和全面的改进升级，集

一、背景 二、为了提升吞吐性能，我们所做的优化 1. 串行模式 2. 线程池 +Future 异步调用 3. 线程池 +CompletableFuture 异步调用 三、一请求一线程的模型 四、虚拟线程 1. 线程术语定义 2. 虚拟线程定义 3. 虚拟线程创建 4. 虚拟线程实现原理 5. 虚拟线程内存占用评估 6. 虚拟线程的局限及使用建议 7. 虚拟线程适用场景 五、虚拟线程压测性能分析 1. 测试流程 2. 衡量指标 3. Tomcat+普通线程池 4. WebFlux 5. Tomcat+虚拟线程池 六、总结

在处理海量广告库中的数据时，广告index索引系统需要快速筛选出几个或几十个符合条件的广告，以满足实时性要求。本文将对车智投index索引系统的设计进行简要介绍，以帮助大家更好地了解广告索引召回的处理过程。

低代码技术是近两年新兴的软件开发方式，它通过提供一套功能组件，通过对组件进行拖拽操作和简单配置来实现软件的开发和发布，与传统编程方式相比，低代码技术可以帮助开发者更快速，更简单的开发出相应的工具，降低软件开发的难度和成本。

本文通过以下问题来介绍组件化这种开发架构的思想和常见的一些问题： 为什么需要组件化 组件化过程中会遇到的挑战和选择 如何维护一个高质量的组件化项目

一、前言 二、改造前的架构 1. Proxy 三层模块 2. BIO 模式下的问题 三、改造后的架构 1. 自研 NIO 数据库驱动 2. 自研 NIO 数据库连接池 3. 跳过不必要的编解码 4. 全链路异步化 5. 兼容性 四、性能表现 五、总结

在软件开发中，经常会遇到一些代码问题，例如逻辑结构复杂、依赖关系混乱、代码冗余、不易读懂的命名等。这些问题可能导致代码的可维护性下降，增加维护成本，同时也会影响到开发效率。这时通常通过重构的方式对已有代码结构进行改进和优化。在重构的工作中，大部分的工作是人工的方式完成，是一个耗时且容易出错的过程。对于研发人员来讲，在不改变软件的功能和行为的前提下，保证质量和效率完成对已有功能的重构，是一个极大的挑战。本系列以Python实现自动化的工具，支持代码重构过程的实践。

在实际应用中，数据分层需要进行灵活而有效的规划和设计，并结合相关的技术和工具进行管理和监控。只有这样，企业才能提高决策和管理的效率，增强市场竞争力。

本文为搜索展现层相关技术，主线会先通过介绍搜索阿拉丁的产品形态，让读者初步了解什么是阿拉丁，及相关展现概念。之后会聚焦场景化产品，场景化是搜索构建沉浸式完美体验（重新组合整页阿拉丁和自然结果）的方案之一，相关检索技术繁多，不能完全覆盖到，本文主要介绍下背后的开发框架支撑 tanGo，会详细介绍下建设过程中的思考、遇到的问题及对应的解决方案。希望读者读完本文，有所收获。

在京东物流技术中台架构升级项目中，物流交易体系以新的接入-交易-履约-执行四层架构进行重新搭建，其中交易订单负责物流与客户之间产生物流服务契约的单据流量收口，同时承载向下游物流履约层分发的职责。在这个大的背景下，交易需支撑日千万订单存储，如何保障订单数据基座高扩展、高可用、高吞吐？

一、业务背景 1.1、为什么需要智能估价模型 1.2、什么是理想的估价模型 1.3、一些相关的尝试 二、基于贝叶斯统计和因果推断的定价方案 2.1、基础原理 2.2、利用贝叶斯统计实现sku粒度定价 2.3、使用因果推断实现商品粒度定价 三、总结 四、参考资料

性能优化是个恒久的话题，随着产品的演进，业务的增长，系统能力总有达到瓶颈的一天，它不可或缺的陪伴着我们走向壮大再走向衰败，是我们面临的不可回避的问题。下图1展示了风控系统近半年来承载流量的增长趋势，可见最近半年来流量高速增长，且对于可预见的未来而言，接入流量还会持续高增。伴随着流量的增长，系统各方面--存储、计算、IO等都表现出一定的瓶颈，通过原始简单的水平扩容并不能解决所有的问题，而且还会带来成本的上升。因此，我们近期对系统进行了一系列优化改造， 目的是满足未来一段时间内业务的增长使用，降低接口的耗时满足某些延时敏感型业务的需要，同时也伴随着一定的IT成本优化。本文结合常见的性能优化手段(预取、批量、异步、压缩、缓存)，及在风控系统中的实践进行总结，希望能给读者对于性能优化实践带来一些参考。

2022年伴随着一站式卖车业务的推进，业务已经从相对简单的用户和车商的信息业务逐步转变为用户到车商全链条交易业务，业务呈现出了多种业态，既包括原有的信息业务，也包括了交易、O2O等。新年伊始，随着业务的发展，用户在二手车业务的生命周期获得了延长，用户端和商家端在业务上结合得越发紧密。在此基础上，还有新旧业务功能持续集成，以此来产生协同效应。越来越多的业务流程也导致了管控难度的提升以及流程上下游之间衔接点的增多。在这个业务发展的背景下，技术系统在支撑业务功能迭代时发现，由于业务的广度和深度的增加，技术系统在实现业务目标时，服务与服务之间的调用链路增长，关系增多，业务目标服务与服务之间的转化难度也在逐步提升，技术系统领域的复杂度也产生了新的增长。这些技术系统的问题会直接反映在业务目标的转化上，体现在是否更快速、更高效。

在项目的性能测试中，相关的接口的随着并发数增加，接口的响应时间变长，接口吞吐不再增长，应用的CPU使用率较高。