ITPub博客

编者按：传统的基于用户数量的定价模式是否还适用于AI产品？我们今天为大家带来的这篇文章中，作者提出：AI 产品应该采用基于工作量的定价模式，而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在 AI 产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使用 AI 工具，而另一些人可能几乎不碰。这不仅会增加企业的不必要开支，还可能阻碍 AI 工具在整个组织中的广泛应用和创新。

编者按：传统的检索增强生成（RAG）技术在处理需要深入理解实体关系的问题时常常力不从心，那么有什么新的技术可以突破这一限制吗？本文深入探讨了 GraphRAG 技术，这一创新方案通过将非结构化文本转化为结构化知识图谱，巧妙地解决了上述难题。GraphRAG 能显著提升 AI 系统理解和回答复杂问题的能力，尤其在跨时代、跨学科的问题上表现出色。作者也指出了实施 GraphRAG 面临的挑战，包括知识

编者按： 随着2024年被业界誉为“AI PC元年”，各大笔记本电脑厂商纷纷推出搭载NPU的全新AI PC，而在介绍产品性能时，“NPU”一词频频被提及。但NPU和我们所熟知的GPU之间的区别究竟是什么？我们今天为大家分享的这篇文章将和大家一起初探NPU vs GPU。简而言之，NPU专为加速AI任务而设计，包括深度学习和推理，能够高效地处理大量数据，并利用专用存储器快速执行复杂的AI算

您是否曾经遇到这样的情况：明明构建了一个功能强大的 RAG 系统，但用户却频繁抱怨“找不到想要的信息”或“返回的结果不够准确”？这是许多 RAG 应用开发者面临的共同挑战。 这个问题不仅会导致用户体验下降，更可能直接影响 RAG 系统的使用率和实际价值。如果未能得到妥善解决，之前的辛苦工作恐将付之东流，甚至影响整个项目的成功。

本文为希望深入了解生成式AI的开发者、技术爱好者、AI落地的领导者和研究者们编写，以通俗易懂的语言，系统地剖析了大语言模型的内部结构和训练流程，从 token、next token predictions，到马尔可夫链、神经网络等核心概念，循序渐进地揭示了 LLM 是如何生成文本的。

本文深入剖析了 AI 从实验室走向市场的五大障碍，包括使用成本、产品可靠性、隐私问题、产品安全和用户界面。作者基于对 OpenAI、Google 等 AI 公司的观察，认为 AI 公司正从追求创造 "神迹" 转向专注于构建实用产品，这是一个积极的转变。

本文提出了 "Multi-Agent-as-a-Service(MAaaS)" 这一概念，认为可以借鉴云应用的最佳实践（best-practices）来设计、部署和管理 AI Agents 系统。MAaaS 框架涵盖了从系统架构到监控管理的各个方面，包括明确的职责划分、RESTful 接口设计、独立的数据存储、容器化部署、自动化测试等关键策略。

我们分享这篇全面且深入的技术解析，期望各位读者不仅能够理解模型量化的基本原理，还能洞察该领域的最新发展趋势。随着模型量化技术的不断进步，我们有理由相信，未来将会出现更加高效、更轻量级的大语言模型，为 AI 技术的更广泛应用铺平道路。

LLMs 规模和性能的不断提升，让人们不禁产生疑问：这种趋势是否能一直持续下去？我们是否能通过不断扩大模型规模最终实现通用人工智能（AGI）？回答这些问题对于理解 AI 的未来发展轨迹至关重要。 在这篇深度分析文章中，作者提出了一个令人深思的观点：单单依靠扩大模型规模来实现 AGI 的可能性几乎为零。

你是否曾经遇到过这些情况：你向 AI 助手提出了一个比较复杂的问题，但它给出的回答却比较浅显，甚至完全偏离了你的意图🤔？或者，你询问了一个非常简单的问题， AI 助手却给出了一大堆不必要的信息，让你感到烦恼😣？

在大语言模型(LLMs)的部署及其相关的算力扩容过程中，更换 GPU 是否也可能会对模型的输出产生重大影响？这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。 我们今天为大家带来的这篇文章，作者的核心观点是：即使在相同的开发环境、系统配置和随机种子下，不同的 GPU 也会导致 LLMs 产生不同的模型输出。

今天我们分享的这篇文章将为各位提供来自一线 Agents 开发者的宝贵经验。作者基于过去一年的实践，总结了 7 条经验教训，包括重新认识 AI Agent 的推理能力、优化 Agent-Computer Interface (ACI)、选择和适配底层模型、以及构建差异化的基础设施等。对于正在或计划构建 AI Agents 的开发者和企业而言，这篇文章提供了许多切实可行的操作建议和深入的见解，是一份不可多得的参考指南📄。

深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to(‘cuda’)”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。

优秀的产品应该将 GenAI 无缝集成到现有工作流中，引入 AI 不仅要能为用户提供高价值、变革性的体验，同时还需兼顾用户的使用习惯，最好不要增加用户的学习成本。

从开发环境配置到项目逻辑梳理，各组件的介绍与构建，再到模型组件的整合，本文将带你一步步走过从文本数据分词到创建嵌入、从注意力机制到多头注意力实现的全过程。仅需具备一定的 Python 编程基础，并对神经网络和 Transformer 架构有基本的认识，便能跟随本文的指引，观察 LLaMA 3 如何根据输入生成输出，见证它如何基于输入生成连贯且有意义的文本。

CRAG 技术如何评估检索文档与用户查询之间的相关性？检索评估器的具体工作原理是什么？CRAG的知识精炼算法是如何工作的？它如何确保在"细分再整合"的过程中不会丢失重要信息？如若您现在对这些问题充满好奇，期望本文能够为您解答清楚。

本文阐述了多模态技术的重要意义，深入剖析了 MLLM 的核心架构和运作原理，并盘点了三种主流的多模态系统构建方式。无疑，这是一篇观点透彻，内容丰富，极具科普价值的佳作。相信通过这篇文章，各位读者一定能够对 MLLM 有更加全面深入的了解。

我们希望这篇文章能够启发读者思考：在评估人工智能模型时，我们是否应该更多地关注那些看似简单却能深入考察模型认知能力的任务？同时，如何设计更多类似“井字游戏”的“微型基准测试“，以更加全面而直观地评估模型性能？

大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？

文中全面介绍了多种提示词压缩算法的原理和实现细节，包括基于信息熵的Selective Context、基于软提示调优的AutoCompressor、引入数据蒸馏方法的LLMLingua-2、综合利用问题语义的LongLLMLingua等。作者还贴心地附上了代码示例，以便各位读者可以动手实践，加深对算法的理解。