ITPub博客

一个合理的架构设计可以解决大型项目跨团队协作分工和多业务线并行开发的效率问题，货运iOS用户端当前处理这样一个低效率的问题上，需要成立一个技术专项，解决老的架构带来的问题。最终达到降本增效，提升多人协作的开发效率。

为了给用户提供更好的视频观看体验，B站已研发出很多先进的视频图像分析与处理算法。在视频转码任务中，这些算法既可以改善视频画质，也可以促进转码效率的提升，从而实现更高清、更流畅的视频效果。研发的算法种类繁多，用途各异，同时B站不同业务对于算法的要求也各不相同。

数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口，数据服务将数仓当作一个统一的 DB 来访问，提供统一的 API 接口控制数据的流入及流出，能够满足用户对不同类型数据的访问需求。

网易传媒大数据实际业务中，存在着大量的准实时计算需求场景，业务方对于数据的实效性要求一般是分钟级；这种场景下，用传统的离线数仓方案不能满足用户在实效性方面的要求，而使用全链路的实时计算方案又会带来较高的资源占用。

最近晚上23:00甚至是凌晨总收到告警通知：磁盘可用量低于20%，这个时候不得不爬起来处理告警。当然这里要提醒大家：对于小问题，运维也绝不要抱着侥幸的心理，因为只有痛过才知道。磁盘类告警只是我们诸多告警中的冰山一角，虽然我们有值班人员甚至是运维团队支撑，但是也不能因为这种小问题就分散注意力，这时我们就需要考虑如何通过自动化实现。

公司发展到一定程度，随着业务分支不断变多，B端C端的项目也随之增多，由于历史原因可能产生新老技术栈（vue/react）共存的情况，这既不利于组件物料的抽离统一(一类通用组件需适配多套技术栈)，也增大了开发者跨项目开发的适应成本。因此技术栈收敛是提升前端平台体系开发效率重要的一环。

随着B站内部对HLS协议直播的传输研发完成度不断提高，自研P2P的前提条件具备了。HLS本身是一种切片式的直播传输格式，具体细节可以参考前面的《HLS直播协议在B站的实践》。因为切片是静态文件，所以可以通过HTTP带Range头的请求下载这个文件的指定部分。

数字化转型趋势下，各行业领域的信息数据呈爆发式增长。随着人工智能、云计算、物联网、大数据等前端科技的不断发展和延伸，各科技产业呈现良好发展态势。无论是企业还是个人，在新时代的环境下，都应紧跟数字化转型的脚本，在未来的变局中赢得先机。基于此，IT168企业计算领域为大家奉上每周精选服务器、存储、数据中心等热点事件。接下来让我们看看本周企业计算领域都发生了哪些新鲜事儿。

你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况？或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境？本文介绍了美团是如何从0到1搭建高性能终端实时日志系统，从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。

为了满足网易内外部客户对于流批一体业务的需求，网易数帆基于 Apache Iceberg 研发了新一代流式湖仓，相较于 Hudi，Iceberg 等传统湖仓，它提供了流式更新，维表 Join，partial upsert 等功能，并且将 Hive，Iceberg，消息队列整合为一套流式湖仓服务，实现了开箱即用的流批一体，能帮助业务平滑地从 Hive 过渡到 Streaming Lakehouse。

在高性能的系统开发设计过程中，缓存的开发与使用是必不可少的内容，对于较复杂的业务系统往往并不是一个缓存方案就能解决所有性能问题，而是根据业务场景的不同选择不同的缓存方案进行搭配产出更好的整体性能。

搜索引擎在数据量逐步扩大之后，分布式搜索是必经之路。搜索引擎的分布式除了要考虑数据分片之外，更重要还需要考虑数据的有状态以及各组件的状态流转。在这里分享一下基于ZK设计分布式搜索引擎的一些经验和思考落地情况，包含了从单机版本到分布式版本的演进。

在PCIe 3.0和4.0平台共存于市场的当下，SSD的性能、价格档次被拉开了很宽的距离。这意味着用户的细分需求可以得到很好的满足，也给了QLC SSD切入市场的空间。即使要将TLC SSD和QLC SSD对立起来，从田忌赛马的角度，QLC SSD已经有了成为中马的资格。借助大容量的优势，甚至获得新一代的控制器的助力，QLC SSD收割中低端TLC SSD的市场份额是顺理成章之事，这是阳谋，无关阴谋论。

通过阅读本文，您将了解到一个售后系统应该具备的一些能力、在整个上下游系统中的定位、基本的系统架构，以及针对售后业务场景中常见问题的解决方案。

字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。

随着广告和内容等推荐场景的扩展，算法模型也在不断演进迭代中。业务的不断增长，模型的训练、产出迫切需要进行平台化管理。vivo互联网机器学习平台主要业务场景包括游戏分发、商店、商城、内容分发等。本文将从业务场景、平台功能实现两个方面介绍vivo内部的机器学习平台在建设与实践中的思考和优化思路。

自从SkyWalking开始在公司推广，时不时会在排查问题的人群中听到这样的话：“你咋还没接SkyWalking？接入后，一眼就看出是哪儿的问题了…"，正如同事所说的，在许多情况下，SkyWalking就是这么秀。作为实践者，我非常感谢SkyWalking，因为这款国产全链路监控产品给公司的伙伴们带来了实实在在的帮助。

传统软件测试技术主要基于测试人员对业务的理解，但由于经验的局限性、被测系统的复杂性以及与真实业务数据的差距，肯定存在测试不充分的情况，所以，虽然整个测试流程很规范，但最终软件质量还是不尽如人意。而随着分布式、微服务架构、大数据技术的出现，软件越来越复杂，迭代越来越快，测试的挑战性越来越大。测试人员急切的需要一套更加精确、高效的测试技术和方法。

如今，数字化转型正大幅改变企业的运作方式。这种快速转型为有效利用数据的企业创造了大好良机，但同时也带来了大量的安全挑战。要应对这些挑战，意味着企业需要确保数据、应用程序和设备安全无虞。这反过来又要求企业采用一种现代化的解决方案保障数据安全。日前，戴尔科技集团跟我们分享了戴尔数据安全策略及解决方案。我们与戴尔科技专家从保护数据和系统、增强网络弹性以及克服安全复杂性等维度进行了深入探讨。

数字化转型趋势下，各行业领域的信息数据呈爆发式增长。随着人工智能、云计算、物联网、大数据等前端科技的不断发展和延伸，各科技产业呈现良好发展态势。无论是企业还是个人，在新时代的环境下，都应紧跟数字化转型的脚本，在未来的变局中赢得先机。基于此，IT168企业计算领域为大家奉上每周精选服务器、存储、数据中心等热点事件。接下来让我们看看本周企业计算领域都发生了哪些新鲜事儿。