TensorFlow在美团外卖推荐场景的GPU训练优化实践
美团机器学习平台基于内部深度定制的TensorFlow研发了Booster GPU训练架构。该架构在整体设计上充分考虑了算法、架构、新硬件的特性,从数据、计算、通信等多个角度进行了深度的优化,最终其性价比达到CPU任务的2~4倍。本文主要讲述Booster架构的设计实现、性能优化及业务落地工作,希望能对从事相关开发的同学有所帮助或者启发。
爱奇艺短视频智能标签生成实践
随着网络的发展,每天有海量的UGC视频被用户上传到各大平台,如何高效的分发与使用这些视频是平台一直需要解决的问题。视频的标签可以高效概括视频的主体内容,有利于推荐、搜索广告等业务对于海量短视频的精确使用。标签的生成是视频理解的产物,按照类型来分,可以分为类型标签和内容标签。类型标签主要是根据各业务的特点定制一套体系框架,将每个短视频映射到定制的框架中。
一文读懂:本地数据湖丨数据仓库丨云数据湖的利与弊
数据湖指的是一个中心位置,大量数据以原始的、非结构化的格式存储,其中包含有关数据和惟一标识符的信息。它们存储的数据可以稍后进行处理,以提取有价值的业务见解并推动业务向前发展。这种类型的灵活组织允许存储结构化和半结构化数据,而无需担心被锁定在数据仓库等专有系统中。虽然数据湖需要专家的眼光来有效地管理和处理数据,但这最终会更加持久和划算。
大型系统存储层迁移实践
迁移一个系统的存储能有多复杂?无非是双写、迁移数据、切读、停写罢了,为何内容云存储层的迁移竟花费将近一年时间?本文主要分享内容云存储层迁移的血泪史,过程中的一些坑和经验,望能给其他大型系统迁移存储或做重构带来一些流程上的参考。
一月一盘点:5月,那些您不知道的服务器领域新鲜事儿
数字化转型趋势下,各行业领域的信息数据呈爆发式增长。随着人工智能、云计算、物联网、大数据等前端科技的不断发展和延伸,各科技产业呈现良好发展态势。无论是企业还是个人,在新时代的环境下,都应紧跟数字化转型的脚本,在未来的变局中赢得先机。基于此,IT168企业计算领域为大家奉上每月精选服务器、存储、数据中心等热点事件。接下来让我们看看5月企业计算领域都发生了哪些新鲜事儿。
字节跳动数据库的过去、现状与未来
日前,字节跳动技术社区 ByteTech 举办的第四期字节跳动技术沙龙圆满落幕,本期沙龙以《字节云数据库架构设计与实战》为主题。在沙龙中,字节跳动基础架构数据库资深工程师张雷,跟大家分享了《字节跳动数据库的过去、现状与未来》,本文根据分享整理而成。
低代码实时数仓构建系统的设计与实践
本文介绍58信安基于Flink实现低代码实时数仓构建系统,我们将数仓构建这一过程进行抽象,通过工程化的思想去解决,将固有领域问题交给系统,让开发人员关注数据本身,解放人力缩短数仓构建周期。
每周要闻速递|预测、财报、合作、收购、推新,一个都不能少
数字化转型趋势下,各行业领域的信息数据呈爆发式增长。随着人工智能、云计算、物联网、大数据等前端科技的不断发展和延伸,各科技产业呈现良好发展态势。无论是企业还是个人,在新时代的环境下,都应紧跟数字化转型的脚本,在未来的变局中赢得先机。基于此,IT168企业计算领域为大家奉上每周精选服务器、存储、数据中心等热点事件。接下来让我们看看本周企业计算领域都发生了哪些新鲜事儿。
盘点工业物联网 3 大技术趋势
导读:工业物联网近些年发展迅猛,无论是操作运营技术(Operation Technology,OT)还是信息技术(Information Technology,IT),都在积极探索和实践,一方面在于落地场景的价值论证,另一方面在于技术创新,以更好地应对场景挑战。
爱奇艺内容中台之数据中心的设计与实现
互联网技术发展至今,当业务复杂度比较高的时候,采用微服务化是一个有效的手段,但是随着服务的拆分,数据管理工作变得极具挑战。数据中心(OLTP)通过对数据的统一收集和管理,一方面可以建立数据之间的联系,从而带来更大的价值;另一方面还可以提供强大的数据阅览、数据分析、挖掘数据等能力,进而为企业创造价值收益。
SSD新范式|从SATA到NVMe(上篇)
从结绳记事,到甲骨文、竹简、纸张,再到如今的硬盘、U盘乃至固态盘(SSD),可以说人类存储信息方式一直伴随着人类文明的发展。信息存储方式的每次革新都会让人类历史文明进入到一个新的阶段。而人类文明的发展让信息数据激增,同时也促进了存储方式的进一步创新和发展。如今,经过多年的打磨,SSD替代传统机械硬盘(HDD)已经成为业界共识。
实践分享 | 数据中心敏捷交付的五大挑战
竞技场上,敏捷的体能是运动员争创佳绩的制胜基础;生物链中,敏捷的身躯是肉食动物生存觅食的主要本能;数据中心行业,敏捷的交付是企业在未来竞争中领跑的关键能力。敏捷交付不仅是实现对客户的业务承诺,更是数据中心本身作为重资产价值的快速变现。那么,什么是敏捷的交付?敏捷交付中又遇到哪些挑战呢?本期笔者将和大家分享数据中心敏捷交付的实践经验和心得。
采用横向扩展NAS有何利弊?
为了满足当今工作负载的性能需求,存储架构需要提供灵活性、敏捷性和效率。因此,横向扩展网络附加存储(NAS)显然是一种经济高效的架构,可以处理这些工作负载,并且能够跟上结构化和非结构化数据的增长,以满足当今的数据存储需求。
NVIDIA推出液冷GPU 助力实现可持续高效计算
事实上,NVIDIA计划于明年推出的一版A100 PCIe卡中搭载基于NVIDIA Hopper架构的H100 Tensor Core GPU。近期内,NVIDIA计划将液冷技术应用于自有高性能数据中心GPU和NVIDIA HGX平台。为推动快速采用,该液冷GPU可在减少能耗的同时维持性能不变。未来,我们期望这些卡在使用同等能源的条件下,展现更出色的性能,满足用户所需。
博通拟以600亿美金收购虚拟化软件巨头VMware
据彭博社报道,计算机芯片制造商博通公司正在谈判收购虚拟化软件巨头VMware。根据《华尔街日报》报道称,该交易可能会在周四正式宣布,以现金和股票的形式进行,总金额达到600亿美金,约合每股140美元。而且根据《华尔街日报》称,博通正在向几家银行寻求帮助,提供400亿美元的债务融资。
英特尔开源SYCLomatic迁移工具 助力开发者创建异构代码
近日,英特尔发布了一项开源工具,该工具可通过名为SYCLomatic的项目,将代码迁移至SYCL,这有助于开发者更轻松地将CUDA代码迁移到SYCL和C++,从而加速面向异构架构的跨架构编程。这个开源项目能让开发社区共同协作,以推动SYCL标准的采用,这是将开发者从单个厂商的封闭生态系统中解放出来的关键一步。
详解元宇宙的 7 层产业链
从用户所需的生活场景的体验到可以让元宇宙概念落地的技术,构建元宇宙涵盖了几万亿规模市值的产业链,Bearable的创始人乔·拉多夫(Jon Radoff)总结了构建元宇宙的七层要素并列出了各要素所涵盖的各个行业(见图1.13)。
每周要闻速递|三分钟带您浏览本周企业计算领域大事件
数字化转型趋势下,各行业领域的信息数据呈爆发式增长。随着人工智能、云计算、物联网、大数据等前端科技的不断发展和延伸,各科技产业呈现良好发展态势。无论是企业还是个人,在新时代的环境下,都应紧跟数字化转型的脚本,在未来的变局中赢得先机。基于此,IT168企业计算领域为大家奉上每周精选服务器、存储、数据中心等热点事件。接下来让我们看看本周企业计算领域都发生了哪些新鲜事儿。
预计2020-2025年中国边缘计算服务器年复合增长率将达22.2%
IDC日前发布的《中国半年度边缘计算服务器市场(2021年下半年)跟踪报告》显示,2021年,中国边缘计算服务器整体市场规模达到33.1亿美元,较2020年增长23.9%。IDC预计,2020-2025年中国边缘计算服务器整体市场规模年复合增长率将达到22.2%,高于全球的20.2%。
浅谈微服务的发展以及可观测性
近年来,“云原生”频繁出现在人们的视野中。随着云原生成为下一代云计算的技术“内核”,业界正在从关注“云原生概念”转变到关注“云原生落地实践”。云原生技术发展势不可挡,依然会是未来云计算领域的热门话题。