ITPub博客

快速玩转 Mixtral 8x7B MOE大模型!阿里云机器学习 PAI 推出实践

原创 人工智能 作者:阿里云大数据AI技术 时间:2024-01-23 16:49:55 0 编辑
摘要

作者:熊兮、贺弘、临在Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络(Mixture-Of-Experts,MOE)开源大语言模型。这一模型具有46.7B的总参数量,对于每个token,路由器网络选择八组专家网络中的两组进行处理,并且将其输出累加组合,在增加模型参数总量的同时,优化了模型推理的成本。在大多数基准测试中,Mixtral 8

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549880

阿里云大数据AI技术