Text2video的最大魅力在于，它能将意识转变成物质。从哲学的角度来看就打破了物质意识的二元性。具有划时代的意义。例如，我想生成一个我在三亚海滩晒着太阳抢返程机票的段子，Text2video就能生产这样的高清搞笑视频，那么，视频生产者就可以几乎被替代了。相当于重造了一个抖音快手。

今天我详细看了下他们的技术报告。提取了三个核心部件：

视觉tokens、各类视频语义级对齐、视频字幕对齐。其他也有一些点。我觉得没那么重要。也可以展开聊聊。

Sora是有史以来第一个可以全尺度多分辨率跨时域通用视觉生成大模型。可以生产一分钟高清视频。

一、视觉tokens：即patches

将整个纷繁复杂的世界解刨成最小组成单元，这个是我们认识世界的方式。例如，化学上的分子、原子等概念。或者说元素周期表，所有世界万物都由这些元素组合而成。语言大模型借鉴了这个朴素的思想，将所有文本解构成一个个的tokens，token是语义级的文本组成最小单元。例如汉语中的字和字词的概念，或者说代码中的if elif等语句，或者说数学公式中的sin cos，都是一个token。

Sora借鉴了这个朴素的思想。他首先将所有视频或者图片，无论你的分辨率是1080*1920还是1920*1080，还是说一个正方形1000*1000，他首先将他转成一个堆视觉语义级的最小单元：他们定义这个最小单元为patches。然后在这个patches基础上训练模型。这个是一个伟大的发明。这样能保证地基的稳定性。图片生产网络核心的bug就是合成出来的图片很多时候不稳定，生产出来的图片像鬼一样吓人，通过这样解析成patches，他合成出来的首先是一堆patches，然后是patches组合成一张图像，前一步可以有效控制好loss误差，则第二步不会出现大的波动，保证了合成图片的稳定性。

形象的表述见上图，一张张图像通过视觉编码器，转成一堆patches，然后最后那一条就是一个最小patch组成单元。

二、各类视频语义级对齐

视频和图片有很多不一致性，例如分辨率，时空连贯性。有了patches概念后，这个问题缓和了很多。Sora还做了很多优化。

一个是视频压缩-解压缩网络。一个视频，通过压缩网络后，在时域和空域两个维度全部解码成一个隐空间表示的embedding，这个才是sora训练时候的输入数据。传统的CNN是需要保证输入图片的尺寸一致性的，例如224*224，如果你是长方形图片，也需要resize到这个尺寸才能训练模型，而Sora不需要原始图片的尺寸一致性，这样就对齐了各种类型的视频。

同时，为了有效保证训练特征编码器的效果，Sora还训练了解码器，就是从embedding转成原始图片raw data，看是否跟最初的输入图像是否一致。来做对偶学习。

通过这样的编码器，将传统的video转成时空隐空间的patches，然后训练好的模型，可以基于时空隐空间的patches，按要求输出想要的分辨率视频。

三、视频字幕对齐

Text to video最核心内核的是文本语义如何跟视频语义完整匹配。因此我认为这一块比前俩块更加核心。不过技术报告中讲的比较少。

报告中主要提了以下几点：1、借鉴了DALL-E 3的技术，首先训练了一个字幕生成器模型。对所有训练集中的视频都生产出详尽的字幕text。2、对于一些简单的用户提示语言，通过GPT改写，扩充为一个详尽的字幕文本。从而保证了训练时文本语义和视觉语义的一一对应。这在跨模态对齐上非常重要。

由于字幕写的比较完备，因此在生产视频的时候，模型对于用户输入的prompt 文本理解力更强。从而保证了视频生产的高质量。

其他方面，Sora是一个diffusion模型。输入有噪音的patches，输出正确的原始patches。然后，他用了图片作为prompt来生产图片，用video作为引子生产新的prompt，这些东西我觉得不是那么核心就不深入探讨了。

     让我们一起迎接伟大的时代。