就在昨天（2024年3月27日），Databricks官网公布一则消息：DBRX将成为开源LLM的新标准。

此言一出，恐怕有些大佬就不高兴了。

据官网介绍：Databricks开源的此款LLM模型 - DBRX，它可以根据独特的数据来专门为你构建高质量的生成式 AI 应用程序。

下面来看一下官网的具体介绍：

Databricks宣布DBRX将是高效开源 LLM 的业界新标准。

Databricks官网：https://www.databricks.com/blog/announcing-dbrx-new-standard-efficient-open-source-customizable-llms

Databricks 的使命是让组织了解并使用其独特的数据来构建自己的人工智能系统，从而为每个企业提供数据智能。 今天，我们很高兴通过开源 DBRX 来推进我们的使命，DBRX 是由我们的 Mosaic 研究团队构建的通用大型语言模型 (LLM)，在标准基准上优于所有已公开发布的开源模型。 我们相信，突破开源模型的界限可以为所有企业提供可定制且透明的生成式人工智能。

我们对 DBRX 感到兴奋有三个不同的原因：

首先，它在语言理解、编程、数学和逻辑方面轻松击败了 LLaMA2-70B（Mata和微软联合发布）、Mixtral（Mistral AI） 和 Grok-1（马斯克AI创企xAI发布） 等开源模型（见图 1）。事实上，我们的开源基准测试 Gauntlet 包含 30 多个不同的最先进 (SOTA) 基准测试，并且 DBRX 的性能优于所有这些模型。这表明开源模型的质量正在不断提高，我们很自豪能够在这一趋势中发挥自己的作用。

图 1：DBRX 在语言理解 (MMLU)、编程 (HumanEval) 和数学 (GSM8K) 方面优于已建立的开源模型。

其次，DBRX 在大多数基准测试中都击败了 GPT-3.5（见图 2）。 这一点很重要，因为我们在上个季度看到 12,000 多名客户群的行为发生了重大转变。 企业和组织越来越多地用开源模型取代专有模型，以提高效率和控制力。 根据我们的经验，许多客户可以通过根据其特定任务定制开源模型来超越专有模型的质量和速度。 我们希望DBRX进一步加速这一趋势。

图 2：DBRX 在语言理解 (MMLU)、编程 (HumanEval) 和数学 (GSM8K) 方面优于 GPT3.5

第三，DBRX 是一个基于 MegaBlocks 研究和开源项目构建的混合专家或多专家 (MoE) 模型，使得该模型在每秒处理token的数量方面速度极快。 我们相信，这将为 MoE 未来最先进的开源模型铺平道路。 这很重要，因为 MoE 本质上可以让您训练更大的模型并以更快的吞吐量为它们提供服务。 DBRX 在任何给定时间仅使用 360 亿个参数。但模型本身有 1320 亿个参数，在速度（令牌/秒）与性能（质量）方面让您鱼与熊掌兼得。

图 3：根据 Mosaic AI Model Serving 测量，DBRX 生成速度明显快于 LLaMA2-70B。

上述三个原因使我们相信开源LLMs将继续获得发展势头。 特别是，我们认为它们为组织提供了一个令人兴奋的机会来定制开源LLMs，这些可以成为他们的知识产权，他们可以利用它在行业中保持竞争力。

为此，我们将 DBRX 设计为可轻松定制，以便企业可以提高人工智能应用程序的质量。从今天开始，在 Databricks 平台上，企业可以与 DBRX 交互，利用其在 RAG 系统中的长上下文功能，并在自己的私有数据上构建自定义 DBRX 模型。 这些定制功能由市面上最高效的教育部培训平台提供支持。 社区可以通过我们的 github 存储库和 Hugging Face 访问 DBRX。

我们完全在 Databricks 之上构建 DBRX，因此每个企业都可以使用相同的工具和技术来创建或改进自己的高质量模型。 训练数据在 Unity Catalog 中集中管理，并使用 Apache Spark™ 和新收购的 Lilac AI 进行处理和清理。 大规模模型训练和微调使用了我们的 Mosaic AI 训练服务。 通过 Mosaic AI 模型服务和推理表收集人类对质量和安全的反馈。 JetBlue、Block、纳斯达克和埃森哲等客户和合作伙伴已经在使用这些相同的工具来构建高质量的人工智能系统。

“Databricks 是纳斯达克在我们一些最重要的数据系统上的重要合作伙伴。 他们在管理数据和利用人工智能方面继续处于行业前沿，我们对 DBRX 的发布感到兴奋。 随着我们在纳斯达克增加生成式人工智能的使用，强大的模型性能和有利的服务经济性的结合正是我们所寻求的创新。”纳斯达克人工智能和数据服务主管 Mike O'Rourke 说道。

Databricks是唯一构建高质量人工智能应用程序的端到端平台，今天发布的迄今为止最高质量的开源模型 DBRX 就是这种能力的体现。我们很高兴了解开源社区和我们的企业客户可以使用 DBRX 做什么。要继续对话，请加入我们由 Naveen Rao 和 Jonathan Frankle 举办的 DBRX 网络研讨会:

https://www.databricks.com/resources/webinar/meet-dbrx-new-standard-high-quality-llms?itm_data=blog-announcingdbrx-mpt2webinar

点击关注本公众号，了解更多AI前沿新闻！