ITPub博客

首页 > 大数据 > 数据分析 > 开源大模型王位易主,Databricks开源了1320亿参数大模型DBRX

开源大模型王位易主,Databricks开源了1320亿参数大模型DBRX

原创 数据分析 作者:李代丽 时间:2024-03-29 10:18:01 0 删除 编辑

相比商用大模型,开源大模型则具有广泛的参与性和开放性,其代码和算法可以公开获取和修改。这使得开源大模型在技术创新和适应性方面具有显著优势。

所以,以Meta推出的LLaMA为代表的开源大模型,一直成为开发者追捧的对象。但是,从现在开始,开源大模型不再是一家独大,后来者Databricks正在创在新的奇迹。

今天,大数据人工智能公司Databricks在其官网上公开宣布,将开源一款名为DBRX的大模型,该模型有1320亿参数,直接叫板Meta的LLaMA。Meta推出的LLaMA模型,是一个包含多个大小不一的大型语言模型的集合,参数从70亿到650亿不等。LLaMA在多个任务上表现出色,尤其在翻译、问答、文本生成等领域具有广泛的应用前景。由于其开源特性,LLaMA吸引了大量开发者的关注,并催生了众多基于其构建的模型。

而Databricks的DBRX模型,拥有惊人的1320亿参数,能够执行文本和代码生成、数学推理等多项任务,并提供基础和微调两种模型供用户选择。根据DBRX在MMLU、HumanEval和GSM8K等测试集上公布的数据,其性能表现不仅超越了LLaMA2-70B和最近由马斯克开源的Grok-1模型,而且在推理效率上比LLaMA2-70B快2倍。值得一提的是,DBRX的总参数数量仅为Grok-1的三分之一,展现出了高性能和低算力消耗的特点。

Databricks的加入,再次展现了开源大模型市场呈现出多元化特点,其中一些典型的产品和厂商在市场中占据了重要地位。

除了,Databricks的DBRX、Meta的LLaMA,全球范围内还有多个知名的开源大模型产品,如GPT系列、BERT、T5等。这些模型在自然语言处理领域取得了显著的成果,并在各种应用场景中得到了广泛应用。这些开源模型不仅为开发者提供了强大的工具,也推动了整个领域的技术进步和创新。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31547898/viewspace-3010847/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-07-30

  • 博文量
    1632
  • 访问量
    2813278