phenaki

Phenaki是什么？

Phenaki是一个能够根据文本提示生成视频的模型，它支持随时间变化的提示，并能够生成长达几分钟的视频。

主要特点：

• 文本到视频的生成：根据文本提示生成视频，提示可以是变化的。
• 视频长度：能够生成长达几分钟的视频。
• 交互式示例：用户可以选择不同的上下文词组合来创建关于宇航员的视频。
• 从静态图像生成视频：输入是第一帧图像加上提示，生成视频。

主要功能：

• 文本提示序列：根据一系列文本提示生成视频。
• 视频压缩：使用新的因果模型学习视频表示，将视频压缩成离散标记的小表示。
• 变长视频处理：使用因果注意力机制处理不同长度的视频。
• 双向遮蔽变换器：用于从文本生成视频标记。

使用示例：

• 示例1：生成一个在旧金山海洋中游泳的逼真泰迪熊的视频。
• 示例2：生成一个在海滩上放松的泰迪熊的视频。
• 示例3：生成一个在火星上行走、跳舞、遛狗并观看烟花的宇航员的视频。

总结：

Phenaki模型通过文本提示合成现实感视频，解决了生成视频的计算成本、高质量文本-视频数据量有限以及视频长度可变等挑战。它通过联合训练大量图像-文本对和少量视频-文本示例，实现了超越现有视频数据集的泛化能力。Phenaki是首个研究生成随时间变化提示视频的模型，并且在视频的空间-时间质量和每视频标记数方面超越了文献中使用的每帧基线方法。