kafka 三高架构设计剖析
简单讲下 Kafka 的架构? Kafka 是推模式还是拉模式,推拉的区别是什么? Kafka 如何广播消息? Kafka 的消息是否是有序的? Kafka 是否支持读写分离? Kafka 如何保证数据高可用? Kafka 中 zookeeper 的作用? 是否支持事务? 分区数是否可以减少?
如何扩展大模型的上下文长度|得物技术
目录 一、背景 二、LLAMA 的结构 1. Transformer 的结构 2. LLAMA 的结构 三、扩展方案与挑战 1. 位置编码层(RoPE) 2. 扩展位置编码层(RoPE)支持长上下文 3. 超长上下文面临的挑战 4. 大模型上下文扩展的思路 四、位置编码层改造扩展上下文的案例 1. 线性位置插值法 2. 动态插值法(NTK-awared) 3. Yarn(NTK升级) 五、优化 Attention 扩展上下文的案例 1. LongLoRA 方法 六、业界更多扩展上下文的方法 七、Kubeai 大模型训练推理平台 八、总结与展望
京东零售数据资产能力升级与实践
本文主要聚焦于京东零售在数据资产管理方面的升级与实践。在数字经济时代,数据资产已成为企业核心竞争力之一,京东零售作为国内领先的电商平台,积极探索并优化数据资产管理,旨在提升运营效率、优化用户体验。文章详细阐述了京东零售在数据资产能力升级过程中的关键举措,包括数据治理、数据挖掘、数据应用等方面的创新实践,为零售行业的数据资产管理提供了有益的借鉴和启示。通过阅读本文,读者可以深入了解京东零售在数据资产领域的探索成果,以及如何将这些成果应用于实际业务中,推动企业持续增长。
Docker最全详解(图文全面总结)
Docker是云原生的核心技术,也是云原生的主要推动者,下面我就全面来详解Docker容器
高并发解决方案详解(9大常见解决方案)
高并发是非常重要的架构核心技能,比如:阿里的双11秒杀就是典型的高并发场景,短时间来抢购,技术如何解决,这就会涉及到高并发的解决方案,下面我给大家详解9大高并发解决方案
如何设计订单超时自动取消
我们在美团 APP 下单,假如没有立即支付,进入订单详情会显示倒计时,如果超过支付时间,订单就会被自动取消。 网上有很多八股文,很多方案其实并不太适合真实的业务场景。所以这篇文章,笔者想深入剖析如何设计订单超时自动取消的功能,希望能带给大家一些启发。
golang 高性能无 GC 的缓存库 bigcache 是怎么实现的?
我们写代码的时候,经常会需要从数据库里读取一些数据,比如配置信息或者诸如每周热点商品之类的数据。
混合云场景下BGP冗余路径失效-事件复盘
问题背景 2 探索 2.1 邻居状态确认 2.2 路由有效性检查 2.3 路由过滤 2.4 手搓新网段,触发路由更新 3 分析原因 4 解决方案
hive 的函数 lateral view 用法详解 | 附pdf下载
hive函数 lateral view 主要功能是将原本汇总在一条(行)的数据拆分成多条(行)成虚拟表,再与原表进行笛卡尔积,从而得到明细表。配合UDTF函数使用,一般情况下经常与explode函数搭配,explode的操作对象(列值)是 ARRAY 或者 MAP ,可以通过 split 函数将 String 类型的列值转成 ARRAY 来处理。
浅谈弹性计算管控可观测性体系建设
为什么需要可观测性?可观测性技术对业务团队的价值有哪些?如何建设一个可观测性技术体系?本文将从整体架构到核心设计一一为大家讲解。
Web 终极拦截技巧(全是骚操作)
提供B站相关技术的介绍和讲解
RocketMQ消息中间件详解(万字图文总结)
消息中间件在互联网大厂的业务场景占据了非常重要的位置,其国内典型RocketMQ需要重点掌握,下面我就全面来详解RocketMQ
从零构建现代深度学习框架(TinyDL-0.01)
本文主要以一个Java工程师视角,阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架(类比AI的操作系统)。
SpringCloud微服务最全详解(图文全面总结)
SpringCloud是微服务架构发展的一个重要里程碑,也是标准的微服务的第二代实现,下面我就全面来详解SpringCloud微服务
CDO 亟需关注的四件事
数字经济背景下,数据要素深入推进。下面我们将深入探讨为数据专家、项目协调员和数据决策者创建有效、安全和高质量的数据治理框架。 2024年CDO开展数据治理亟需关注的四件事包括: 第一:深刻了解业务目标 第二:建立数据治理团队 第三:开展协作变革管理 第四:进行数据盘点分类
浅入深出的微前端MicroApp
本文将深入浅出地探讨微前端架构模式——MicroApp,从微前端的基本概念、核心优势以及如何在现代web开发中实现它,详解微前端如何使得大型应用能够分解为小型、简单、可独立开发和部署的子应用,同时还能保持各个子应用间的完整性和协调性。此外,本文还将探讨实施微前端时可能遇到的挑战和最佳实践,为开发者提供一条清晰的实施路径,帮助其构建更加灵活和可维护的前端生态系统。
阿里面试:Dubbo负载均衡有哪些策略?
Dubbo是一款高性能的Java RPC框架,它提供了多种负载均衡策略,一般大厂也爱问:Dubbo常用的负载均衡策略有哪些?下面我来详解
浅析“代码可视化”
本文探讨了代码可视化的核心概念、实现方法和在不同场景下的应用。无论读者是开发新手还是资深工程师,本文都将提供一个新的视角,帮助读者更好地理解代码可视化的价值,并将其应用于实际开发过程中。通过阅读本文可以掌握代码可视化的基本实现原理,了解在不同场景下如何运用可视化结果提前识别风险、提高代码质量和优化系统性能。
消费者太多!RocketMQ又炸了!
先说明下RocketMQ版本, 4.6.0的老版本了。 线下环境客户端启动会频繁报错响应超时,导致consumer实例化失败,无法启动应用。
获取双异步返回值时,如何保证主线程不阻塞?
通过Future获取异步返回值,轮询判断Future状态,如果执行完毕或已取消,则通过get()获取返回值,get()是阻塞的方法,因此会阻塞当前线程,如果通过new Runnable()执行get()方法,那么还是需要返回AsyncResult,然后再通过主线程去get()获取异步线程返回结果。