作者：Russ Webb、Amitis Shidani、Alice Bizeul、Dan Busbridge
离散扩散（包括重掩码和均匀状态采样器）通过每步写入多个 token 位置来生成序列，每个位置的值从逐位置分布中采样，而写入哪些位置也由这些相同的分布决定。对于普遍关注的领域（像素、音素或词），token 之间存在固有的依赖关系。我们证明，一步操作只有在它所写入的位置在已固定 token 的条件下条件独立时，才与训练分布匹配；任何逐位置分布的乘积都无法匹配一个存在依赖的组；并且逐位置分布无法决定一个组是否存在依赖：两个联合分布可以具有相同的逐位置边缘分布，但在哪些值组合会出现上有所不同。在 ScanAndAdd 这一联合分布具有闭式表达式的合成任务上，我们验证了置信度排序所写入的每一组两个或更多未确定位置都是存在依赖的，并测得生成分布的总变差为采样噪声下限的 29 倍，而逐样本指标为 1.0。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/limits-confidence-diffusion
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
请登录后发表评论
登录
全部评论
