一种KV存储的GC优化实践
从内部需求出发,我们基于TiKV设计了一款兼容Redis的KV存储。基于TiKV的数据存储机制,对于窗口数据的处理以及过期数据的GC问题却成为一个难题。本文希望基于从KV存储的设计开始讲解,到GC设计的逐层优化的过程,从问题的存在到不同层面的分析,可以给读者在类似的优化实践中提供一种参考思路。
日均上亿慢查询,如何基于AI+数据驱动索引推荐
目前,美团内部每天产生的慢查询数量已经超过上亿条。如何高效准确地为慢查询推荐缺失的索引来改善其执行性能,是美团数据库研发中心面临的一项挑战。为此,我们与华东师范大学开展了科研合作,在AI领域对索引推荐进行了探索和实践,并将基于代价的方法和新提出的基于AI+数据驱动的方法共同应用于慢查询的索引推荐,成功提升了推荐效果。
哈啰一站式AI平台在多端智能的探索
近年来随着大数据时代的到来和计算能力的提升,人工智能在各个领域都取得了显著的进展。原先在云端进行特征的存储与处理、模型的训练、在线推理,在客户端进行数据的展示的架构展现出越来越多的缺点和局限性。本文将结合端智能的优势,结合哈啰一站式AI平台的现状,讲述一站式AI平台如何支持多端智能(服务端、flink端、移动端)。
京东科技全链路故障诊断智能运维实践
我们在建设智能运维的基本目标与业界是一致的,主要都是为了降低故障的平均修复时间,延长系统的无故障的运行的时间,以此提升系统的可用性以及运维效率。在京东内部,主要依托于三大技术底座:运维知识图谱、运维大数据处理技术、运维算法技术。
快手实时数仓保障体系研发实践
快手最大的业务特点就是数据量大。每天入口流量为万亿级别。对于这么大的流量入口,需要做合理的模型设计,防止重复读取的过度消耗。另外还要在数据源读取和标准化过程中,极致压榨性能保障入口流量的稳定执行。
数据驱动成功7步法:转变数据管理模式加速数字化转型
数据驱动的运营由数据推动。每家公司都认为其数据是“好”的,因为数据是用来运营业务的。如果一个公司的账户金额额和它的交易都被成功处理了,数据怎么可能是坏的呢?当数据不适合其用途时,可能很糟糕。例如,数据可能不够完整,无法实时满足客户的需求,或者无法用于管理查询或财务分析。
制造企业面临的一道难题——数据采集
数据采集一直是困扰着所有制造工厂的传统痛点,自动化设备品牌类型繁多,厂家和数据接口各异,国外厂家本地支持有限,不同采购年代。即便产量停机数据自动采集了,也不等于整个制造过程数据都获得了,只要还有其他人工参与环节,这些数据就不完整。
网易云音乐实时数仓架构与低代码实践
本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分,第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。
央企数字化转型的案例:难题与剖析
为进一步落实国务院国资委《关于加快推进国有企业数字化转型工作的通知》,点亮智库联合中国企业联合会、北京国信数字化转型技术研究院、中核集团、航空工业集团、国家电网等40余家央国企、行业协会、科研机构、服务企业等单位,就国有企业数字化转型发展指数与方法路径进行了课题研究。
汽车之家10年系统架构演进与平台化架构实践
汽车之家电商系统诞生在2014年,成长于2016~2019年,并经历多年双11、818晚会的洪峰考验,沉淀了稳定可靠、性能卓越的在线交易能力。随着业务中台的建设浪潮兴起,2019年进入中台化建设阶段,输出其在汽车电商领域五年沉淀的能力,助力汽车电商行业发展,加速企业数字化转型!
从预防、应急、复盘全流程详谈系统稳定性建设
安全是产品的底座,是体验的基础,也是企业的一项核心竞争力。安全生产是一项系统性的工作,同时也是一件比较琐碎的事,需要做方方面面的考虑尽一切可能保障系统安全稳定运行。个人之前一直负责商品的稳定性工作,在这方面有比较多的经历和实践。
百度智能云Redis容量版设计与实践
本次分享会阐述百度智能云Redis容量版(PegaDB)的设计与实践。内容包括:PegaDB简介及应用场景;PegaDB内核技术及实践经验;百度智能云Redis内核团队与开源社区的合作;PegaDB后续规划。
新一代智慧节能数据中心实践——液冷篇
本文将基于B站新一代定制化数据中心的实践,从常规风冷散热技术下的数据中心冷却系统引入,与大家聊聊近年来数据中心高效节能技术路线中的高频词—液冷技术。
vivo大规模Kubernetes集群自动化运维实践
随着vivo业务迁移到k8s的增长,我们需要将k8s部署到多个数据中心。如何高效、可靠地在数据中心管理多个大规模的k8s集群是我们面临的关键挑战。kubernetes的节点需要对os、docker、etcd、k8s、cni和网络插件的安装和配置,维护这些依赖关系繁琐又容易出错。
一文揭秘DDD到底解决了什么问题
谈到架构,相信每个技术人员都是耳熟能详,但如果深入探讨一下,“为何要做架构设计?”或者“架构设计目的是什么?”类似的问题,大部分人可能从来没有思考过,或者即使有思考,也没有太明确可信的答案。
如何在短频快的节奏中做好技术?业务开发必会的架构思维
本文提供一种业务架构设计模式供大家参考。整个框架希望表达2个重点:1 首先要有业务视角思考,突破仅关注需求实现设计,而是从业务价值出发的业务架构思维;2. 强调设计的逻辑:自上而下或自上而下都是强调设计过程,每个设计决策需要经过推演得出。
veImageX演进之路:iOS高性能图片加载SDK
图片在业务应用场景是一个常见的元素,veImageX(简称ImageX)为业务提供了灵活、高效的一站式图片处理解决方案,包括了服务端 SDK、上传 SDK 和客户端图片加载 SDK。本文就来介绍下 iOS 客户端图片加载 SDK(下文中简称 SDK),SDK 主要提供图片网络加载、图像解码、图片基础处理与变换以及图片服务质量监控上报等能力。
决定产品的成败:数据产品建设中的组织分析
本文将分享决定产品成败的关键,即数据产品建设中的组织分析。一直以来,很多人都在聚焦如何做好产品,绝大部分的分享与交流都聚焦在需求、场景、用户、价值、运营以及增长和对业务的理解上,谈论组织相关的内容却鲜为少见。
B站超大规模视频查重算法与工程优化实践
当前站内存在一定比例的UP主投稿重复、低编辑度的低创视频投稿的情况。低编辑度重复投稿表现为,相同或不同视频作者对同一视频素材进行黑边、裁剪、渣清、模板、录屏、变形、滤镜、模糊填充等不影响内容实质的编辑后进行反复投稿,如下图所示。
拥抱变革 华为深耕中小企业市场新蓝海
华为企业BG去年年底还专门成立了负责全球商业与分销业务的组织,并从组织、渠道体系、产品、营销、IT平台等方面采取了一系列变革举措,通过提供端到端服务,全面覆盖伙伴需求,更高效赋能中小企业数字化转型。