ITPub博客

FlashAttention-4 大 Head Dimension (256) 高性能算子实现与优化

原创 人工智能 作者:阿里云大数据AI技术 时间:2026-05-25 14:55:32 0 编辑
摘要

阿里云 PAI 团队针对 Qwen3.5 等模型对大 Head Dimension 的训练需求,设计并实现了面向 large head dimension 场景的专用 FA4 Kernel,有效支撑了千卡规模训练,已合入 Dao-AILab/flash-attention 官方仓库。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549942

阿里云大数据AI技术