-
如何扩展大模型的上下文长度｜得物技术
目录 一、背景 二、LLAMA 的结构 1. Transformer 的结构 2. LLAMA 的结构 三、扩展方案与挑战 1. 位置编码层(RoPE) 2. 扩展位置编码层(RoPE)支持长上下文 3. 超长上下文面临的挑战 4. 大模型上下文扩展的思路 四、位置编码层改造扩展上下文的案例 1. 线性位置插值法 2. 动态插值法(NTK-awared) 3. Yarn(NTK升级) 五、优化 Attention 扩展上下文的案例 1. LongLoRA 方法 六、业界更多扩展上下文的方法 七、Kubeai 大模型训练推理平台 八、总结与展望
-
远程热部署的落地与思考-动态编译篇
1、背景 1.1 、真实工作场景 1.2、项目背景 2、预期目标 3、选讲问题分析 4、方案选择 5、探索实践 6、总结与展望
-
康普Propel光纤平台引领智算中心新篇章
随着国务院提出的“数字中国”战略，企业纷纷向数字化转型，并涉足人工智能领域。人工智能内容生成成为热门话题，催生了智算中心的建设，同时也带来了诸多挑战和问题。云计算需求不断攀升，智算中心对IDC供应商提出了更高要求，尤其在满足无自有电力和场地客户的租用需求方面。
-
分布式RPC最全详解(图文全面总结)
Dubbo为代表的RPC框架，大家都是必备掌握了，之前我就讲过不要仅满足于使用，还需要了解原理很重要，下面我就重点来谈RPC
-
ScaleFlux SFX 5016：为数据中心SSD和AI应用存储性能设立新标杆
ScaleFlux一直致力于协助数据中心应对效率和环境可持续性，以及处理AI工作负载等日益增长的挑战。其最新一代企业级SSD控制器——SFX 5016应运而生。
-
焱融科技 AI 存储赋能北大教科研成果高效落地
以 Sora 为代表的新兴 AI 技术如同寒武纪生命大爆发般崭露头角，当前的人工智能发展不仅是算法的不断迭代，更是得益于强大的算力和海量数据的推动。
-
国内首个高性能存储标准发布 焱融科技参编
近日，中国电子工业标准化技术协会发布公告，批准T/CESA 1312-2024《高性能计算分布式存储系统技术要求》等十项团体标准（以下简称“团标”）。该标准是由曙光信息、中移动、焱融科技等国内存储厂商及使用单位携手发起并精心编制，对推动高性能计算领域的标准化、规范化发展具有重要影响。
-
联想Think System SR650报Backup GPT corruption detected, 警告
System Board Backup GPT corruption detected, DiskGUID: 60179DE4-6B08-47C9-8107-4DCE4A00A6D6 FQXSFSR0001M FRU: November28, 20194:4520PM
-
如何加强供应链安全
供应链风险有多种形式，从勒索软件和数据盗窃到拒绝服务(DDoS)和欺诈。它们可能影响传统供应商，如专业服务公司(律师、会计师等)或商业软件供应商。攻击者还可以攻击托管服务提供商(MSP)，因为通过以这种方式攻击单个企业，他们可以获得对大量潜在客户的访问。
-
面试官问synchronized为什么性能会比Lock慢一点
实现锁应该考虑的问题 如何获取资源(锁)？ 获取不到资源的线程如何处理？ 如何释放资源？ 资源释放后如何让其他线程获取资源？ 由此可以得出实现一把锁，应该具备哪些逻辑
-
Spring Cloud负载均衡详解(原理算法及配置使用)
我们在使用SpringCloud开发微服务，会涉及到负载均衡，下面我就来详解SpringCloud负载均衡原理与使用
-
解密工业网络交换机的广播风暴处理策略
在工业网络环境中，广播风暴是一种常见但严重的网络问题。它可能导致网络拥塞、性能下降甚至网络瘫痪，严重影响生产运行。为了解决这一挑战，工业网络交换机采取了一系列应对策略，以确保网络的稳定性和可靠性。本文将深入探讨工业网络交换机的广播风暴问题及其处理策略。
-
从小教室到大校区 华为让数智教育一触即达
如今，在教育、医疗、制造、办公等众多行业，华为正在通过“伙伴+华为”模式，打造面向不同行业场景的智能化解决方案，这些方案将帮助这些行业内的企业进一步实现“一触即达”，降低这些企业数智化转型的门槛。今天我们就聚焦教育行业，看一看数智教育是如何一触即达的？
-
记一次事务里发普通消息的线上问题排查过程
商业退款业务，每周都会有几笔退款订单自动处理失败，究其直接原因，是因为数据表里的一个字段cost更新失败导致。抽象一下，业务场景大概是这样的：系统A处理完一笔订单后，会发送MQ，系统B消费系统A的MQ，消费过程中，会去系统A拉取信息，然后更新系统B对应的表信息。
-
FMS设备监察系统无线传输模块及网关快速应用教程
设备监察系统又叫做FMS（Facilities Monitoring System），该FMS系统由 GUI（配置上位机）、FMS网关和lora无线模块节点三部分组成。亿佰特上市的E53-470FMS22S、E53-DTU(470FMS22)产品是基于LoRa扩频技术开发的设备监察系统无线传输模块及网关，其强大的抗干扰能力，让无线通信在工业现场
-
设备监察系统（Facilities Monitoring System）详解
设备监察系统旨在对各种设备、系统和设施进行实时监控、数据分析和性能优化。E53-470FMS22S无线传输模块、E53-DTU(470FMS22)设备亿佰特为设备监察系统研发生产的专用产品，基于LoRa扩频技术的E53-470FMS22S型号LoRa模块和星型组网技术的FMS网关E53-DTU(470FMS22）产品，该FMS网关和LoRa模块强大的抗干扰能力，让无线通信在工业现场更加稳定可靠，同时设备监察系统支持超大网络容量，DTU网关最大可接入1200个节点。
-
网易云音乐为何选Pinpoint来建服务监控系统？
云音乐服务监控系统（代号：Pylon APM）为业务提供服务监控、链路追踪、治理分析、问题诊断等能力，本文介绍了平台建设中的一些实践经验。
-
简单一招竟把nginx服务器性能提升50倍
本文记录了一次基于实际业务场景的nginx调优过程，通过一步步的分析实践把服务器整体性能提升了50倍。
-
国密算法是信息安全利器，助力产业发展
随着信息技术的飞速发展，网络已经深入人们生活的方方面面，从日常购物、社交娱乐到企业运营、政府服务，网络的应用越来越广泛。然而，伴随着网络的普及，网络安全问题也日益凸显。黑客攻击、数据泄露、网络诈骗等事件频发，不仅给个人带来财产损失和隐私泄露的风险，也给企业带来商业机密泄露、品牌形象受损甚至法律诉讼等严重后果。网络安全面临的威胁主要包括恶意软件、钓鱼网站、勒索软件、DDoS攻击等。这些威胁手段不断翻
-
云迁移中的CT-CMS任务操作指南
随着企业业务的快速发展和数据量的不断增长，传统的IT架构逐渐面临性能瓶颈、扩展性不足等问题。为了解决这些问题，越来越多的企业选择将业务迁移到云平台，以实现更高效、灵活和可扩展的IT服务。在云迁移的过程中，CT-CMS（内容管理系统）的迁移是一项重要而复杂的任务。本文将详细介绍云迁移中CT-CMS任务操作的关键步骤、注意事项以及最/佳实践，帮助读者顺利完成CT-CMS的云迁移工作。
