ITPub博客

本文将分享腾讯在大规模图神经网络应用和最新范式方面的探索。首先总体介绍大规模图神经网络应用中解决大图内存/计算问题的三个范式，接着会介绍基于图采样方法的发展，以及针对大规模GNN的优化，最后对大规模图神经网络应用和探索的未来方向进行展望。

GPU(图形处理器)最初设计用于处理计算机图形学任务，但现在其应用场景已经扩展到了许多其他领域。以下是一些GPU应用的场景：游戏和视觉效果：GPU最初的目的是为了加速图形渲染，因此它们在游戏和视觉效果方面有很大的应用。GPU可以快速处理大量数据并生成复杂的三维图形，为玩家提供更真实的游戏体验。

淘宝直播以轻松友好的内容导购形式，相对高性价比的购物属性，满足了用户在休闲时间进一步碎片化的情况下，对高节奏生活、社交属性和碎片化娱乐场景的需求。用户可以方便地关注自己喜欢的店铺、达人和品牌，同时回归生活消费。随着用户渗透率的提升，淘宝直播对整个核心电商业务的贡献也越来越大。目前，淘宝直播已吸引了大量主播入驻并开播，成为淘系生态圈中不可或缺的一环。

在近期举办的Arm技术媒体分享日上，来自Arm的技术专家详细介绍了Armv9 CPU集群、全新旗舰级Arm Immortalis GPU等产品，并通过一系列的产品对比，让笔者更加直观的了解到了Arm全新产品在性能方面的提升。

微信多维指标监控平台 ，是微信监控平台的重要组成部分。在分析了用户数据查询行为之后，我们找到了数据查询慢的主要原因，通过减少单 Broker 的大跨度时间查询、减少 Druid 的 Segments I/O 次数、减少 Segments 的大小。我们实现了缓存命中率>85%、查询耗时优化至 100ms。

端到端语音识别系统在足够多数据上训练后，往往能达到不错的识别效果，然而在实际应用场景中，对于不常见的专有名词，例如人名、产品名、小区名等，往往容易识别错误，此类问题需要快速修复，这就需要用到热词增强功能。

基于ClickHouse的Billions2.0日志方案上线后（B站基于Clickhouse的下一代日志体系建设实践），虽然能够降低60%的存储成本，但仍然存在几个比较明显的问题，需要进一步的优化和解决。

我们深知，企业需要一套完善的数据技术与工具，实现数据合规采集、存储、计算、建 设和管理，利用数据思维对业务运营与管理场景问题精细洞察，学会利用数据资产改善能效，以此循环往复，推动数据资产的持续沉淀，形成企业特有的数据资产体系。

随着云计算的普及和发展，对象存储逐渐成为企业主流的存储方案。尤其是在数据湖架构中，对象存储以其高度可扩展性和对多样化数据类型的支持，成为一种流行的底层存储解决方案。我们将回顾并对比HDFS和对象存储的架构，探讨它们各自的优劣势以及发展趋势。同时也会探讨云原生的数据湖存储架构应该如何设计。

自16年成立以来，网易严选已经发展了7个年头。数据一直是网易严选的核心资产，支撑着我们的业务发展，大数据平台也在严选成立不久之后就开始建设了。我们的大数据基础组建主要包括HDFS存储系统、Kafka/Pulsar等消息中间件，还有用于实时计算的Flink、批处理的Hive、Spark计算引擎、AI训练的temsoflow，在这些基础设施之上我们也开发了很多数据产品，如数据集成工具datahub，任务开发平台等。

在哔哩哔哩海外市场，视频上传是创作者最重要的功能之一，也是创作者对平台忠诚度和满意度的重要影响因素之一。然而，2022年Q3，产品负责人在海外对创作者进行线下访谈的过程中，发现超过50%的创作者对上传体验不满意，主要反馈有两个方面：上传速度慢、上传进度长时间卡住。这些问题严重影响了创作者的上传效率和体验，甚至导致了部分创作者放弃上传或者转投其他平台。

对于任何一家互联网企业，访问量达到一定规模后，缓存组件必然会面对极大的挑战。所以，建设稳定的缓存集群管理能力，资源交付能力，确保并发数持续增长下，缓存组件能够稳如泰山，是企业技术发展的重中之重。

随着滴滴内部技术栈的不断统一，实时相关技术组件资源的不断整合，各业务线实时数据相关开发经验的不断沉淀，基本形成了一套面向公司不同业务场景需求的更优技术选型和具体落地方案。

在本期《开启算力新时代》栏目中，我们有幸邀请到了戴尔科技集团信息基础架构方案事业部拓展经理龚小愿，英特尔SMG全球客户部资深客户经理罗艺和企商在线AI算力与云服务能力中心副总经理张轶男，三位专家围绕《打造现代化数据基础架构，加速实现业务创新》这一话题展开了深入探讨。

据悉，在AMD盛大的数据中心发布会前一天，英特尔率先发布了Sapphire Rapids Xeon CPU与AMD EPYC Genoa的“真实”基准测试结果，声称性能提高了7倍。同时，英特尔还在发布会中发布了其全新的产品，并探讨下一步的发展。

我猜各位数仓同学可能会经常收到下游抱怨，例如：数据表难用、想要的指标都不知道存放在哪个数据表、数据表命名缺少规范不易读等，由于设计数据表是一个“经验活”（包括业务了解、设计中的经验沉淀等），因此对于数仓同学来说有时候想做好一个完美的数据表其实颇有挑战，也从另外角度证实线上数据表大多数来说都不够合规，需要持续治理。

得物的推荐场景，除了首页瀑布流等几个比较大的场景之外，还有很多长尾的小场景，包括：频道、会场、购中购后场景、品牌墙等。这类场景存在单个场景体量小（UV和GMV均偏小）、场景零散、类型多元的情况。如需对这类场景进行单独优化，涉及的成本投入远高于产出。

云音乐在过去九年中发布过九款独立的产品，包括国内产品和海外产品。国内产品除了大家熟知的网易云音乐之外，还有五款社交类型的产品。海外主要打造了三款社交类型的产品。所有产品的数据支撑都在数仓开发部门。

随着字节跳动旗下业务的快速发展，数据急剧膨胀，原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。而伴随着大数据架构向云原生演进的行业趋势，字节跳动也对大数据体系进行了云原生改造。本文将详细介绍字节跳动大数据容器化的演进与实践。

面对海量数据的狂飙，存储如何对数据有效的管理？在多云环境下，如何控制本地数据基础设施建设的成本？如何随时随地保护数据？如何从数据中获得更多价值？针对以上问题，笔者从Dell PowerStoreOS 3.5更新中，找到了答案。