Flink on K8S 在网易传媒的落地实践
随着云原生技术的成熟和 Flink 版本对 K8S 支持的持续完善,网易传媒在 2022 年开始对 Flink on K8S 进行探索和落地,目前已迁移完成大部分作业至自研实时计算平台 Riverrun,并实现 Flink 实时计算与 Spark 离线计算在 K8S 上的稳定混部,带来了可观的“降本增效”收益。
读时建模技术在异构数据分析平台的应用
本文将从日志分析的价值和日志处理的难点和挑战入手,进而引出读时建模的技术理念,并介绍鸿鹄数据分析平台在设计和技术实现的时候,是如何去考虑做读时建模的。希望为大家的日志相关处理平台选型提供一些新的思路。
滴滴交易市场核心要素与技术挑战
滴滴作为一家共享出行公司,利用信息技术构建了实时的、智能的在线交易市场,在这个庞大运转的市场之中,滴滴秉承着用户价值至上的宗旨,不断通过技术提升来实现更高效的运转效率和更贴心的用户体验。
拒绝一锤子买卖,华为坚持“长期主义”与伙伴共成长
日前,华为中国合作伙伴大会2023隆重召开,华为重点分享了最新的伙伴合作政策和伙伴发展计划。大会期间,笔者有幸采访到了华为董事、ICT产品与解决方案总裁杨超斌,他从研发投入、战略规划、根技术打造等多方面解答了我们的疑问。
B站动态outbox本地缓存优化实践分享
动态综合页比较容易因为高热事件,引起大量用户持续消费feed流,导致线上拉取动态时间线feed流接口快速飙升至平时峰值2~3倍以上而大量超时,较多用户无法正常消费其feed流。从监控上发现outbox(用户发件箱)服务依赖的redis集群大量实例CPU使用率皆超过了95%甚至达到100%(如图1)。
联合创新+精准赋能,华为将品质服务进行到底
正如华为中国政企业务副总裁何振所言:“变化的是外部环境,不变的是华为品质服务,我们始终坚持以客户为中心,构建ICT全栈的技术服务能力,在规划建设、维护和优化、运营各个阶段,与伙伴能力互补、资源共享、协同互助,为政企客户提供高品质服务。”
“以伙伴为中心”,华为构建伙伴主导的商业市场体系
正如华为中国政企商业销售部部长刘勇所言:“华为行业能力导入帮助集成商获得更多商机,围绕细分场景打造差异化方案帮助伙伴打开需求新空间,不断优化适销的产品和解决方案保障集成商利益。”
从项目驱动到体系建设,“伙伴+华为”共建共赢生态
那么问题来了,什么是“伙伴+华为”体系?华为如何更好地支持伙伴成长?如何共建最具竞争力的开放合作体系?如何将战略落地执行?在与华为中国政企业务总裁吴辉的采访交流中,笔者找到了答案。
谈谈如何通过构建数据产品释放数据价值
你有没有因为一条不良的信息而让你的整个工作日都不在线?您精心制作了一个充满“工作块”或“专注时间”的周历,但紧迫的问题一出现,您的议程就被抛在脑后了。数据工程师特别是与这种模式产生共鸣。
分布式系统设计中的并发访问解决方案
随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
任务全链路诊断助云音乐大规模计算资源优化
本篇文章大致介绍任务全链路诊断模块,通过部分案例和数据,帮助用户更好的了解该功能模块能带来什么样的收益,以及如何简单的使用。本篇文章仅涉及计算资源vcore的优化,对于异常定位会有其他文章进行介绍。
快手流批一体数据湖构建实践
快手数据湖当前还有一些待优化的工作。首先,缺少完善的元数据和数据管理服务。在查询模式上,由于不支持实时表,也还没有达到离线和实时查询的统一。此外,当前快手数据湖生产方式还没有做到无感知的兼容,所以主要在新的场景上使用,总体的使用率占比不高。
得物前端巡检平台的建设和应用实践
回归投入成本大,H5页面巡检在用户稳定性提升上具有较大意义,在每个迭代大概有近十万个页面需要巡检(比如双旦、情人节等大促活动期间则更多)。本文中的部分技术调研、演示代码块、疑惑问题等,均由ChatGPT提供。
BI到底是什么,是否所有企业都应该上BI?
为什么要花时间来解释这个并不新鲜的问题?大概是因为逐渐发现这问题的答案可能并没有问题本身普及得开。因此,今天来写这篇文章帮助大家系统认识、理解BI应该也不算过时。全篇原创干货,不妨耐下心,跟我花10分钟去理清这些你每次都分不清的概念。
B站数据平台调度系统之依赖
数仓建设离不开数据模型,数据分析师通过数据模型分析归纳各类数据,模型中离不开各种数据表,表代表不同维度数据,从而表/数据之间有上下游依赖关系,数据的产出是由任务计算得出,分为周期性或实时产出,所以数据之间的依赖等价于计算任务的依赖。
图解JVM内存模型及JAVA程序运行原理
在进入正题之前,先问一个老生常谈的问题,相较于C,JAVA语言的优势是什么?相信学过JAVA的人都知道,无论是大学时的第一堂课还是JAVA相关书籍的第一章也都会讲到:一次编写、到处运行;真正意义上的实现了跨平台。
字节跳动湖平台在批计算和特征场景的实践
随着业务的发展,字节跳动特征存储已到达 EB 级别,日均增量 PB 级别,每天训练资源量级为百万 Core。随之而来的是内部业务方对原始数据存储、特征回填需求、降低成本、提升速度等需求的期待。本次分享将围绕问题背景、选型 & Iceberg 简介、基于 Iceberg 的实践及未来规划展开。
大促稳定性保障深度复盘,包含应对措施和案例分析
一般而言,平台大促即意味着流量暴涨和优惠力度暴增,特别是每年的618、双11和双12等大促更是一场电商圈的狂欢;暴涨的流量对系统稳定性的冲击,高额优惠对业务资损防控的考验,都比平常要高出数倍,出现了问题也会被放大数倍;这是一场没有硝烟的战争,宁可准备充足但毫无用武之地,也不能出现问题束手无策。
美团存储云原生探索和实践
存储计算分离架构是云原生技术在业务落地的底层重要支撑技术之一,本次分享将介绍美团基础技术部存储团队在存储计算分离架构上的一些探索,重点是介绍美团的分布式存储底座MStore的技术架构,以及基于MStore建设其他PaaS组件和业务系统的一些思考和实践,帮助业务系统实现存储计算分离架构的落地,提升整体系统的扩展能力。
为什么85%的大数据项目都以失败告终?
熟悉大数据的人都知道,这个问题是真实且严重的,而不完全是技术问题。事实上,相对于本质原因,技术是失败的次要原因。以下是大数据项目失败的四个主要原因,以及可以成功的四种方式。