阿里云 PAI 团队针对 Qwen3.5 等模型对大 Head Dimension 的训练需求,设计并实现了面向 large head dimension 场景的专用 FA4 Kernel,有效支撑了千卡规模训练,已合入 Dao-AILab/flash-attention 官方仓库。
注册时间:2021-07-28