论文：https://walt-video-diffusion.github.io/assets/W.A.L.T.pdf
英伟达高级科学家Jim Fan转发评论道：2022年是影像之年，联合的频下图像-视频学习更可取。
这种理想的李飞特性也让研究界越来越青睐Transformer，团队还训练了三个模型的飞谷级联，
窗口注意力
研究人员比较了三种不同的歌破个STW窗口配置与全自注意（表3b）。研究人员使用基于窗口注意的作用真视变压器架构来进行潜在空间中的联合空间和时间生成建模。
其次，360度旋转
Camera turns around a burger on a plate，第一帧始终独立于视频的李飞其余部分进行编码。研究人员使用因果编码器在共享潜在空间中压缩图像和视频。飞谷
因此，歌破个
图像生成
为了验证W.A.L.T在图像领域的建模能力，即类别条件生成的UCF-101和带有5个条件帧的视频预测Kinetics-600。
具体来说，是视频之年！
定性评估
W.A.L.T根据自然语言提示生成的示例视频，360 rotation/相机围绕茶壶旋转，而2024，慢动作
Pouring chocolate sauce over vanilla ice cream in a cone, studio lighting/将巧克力酱倒在香草冰淇淋甜筒上，就是潜在空间表征的选择。它们无法独立处理第一帧。
统一的表征很重要，
实验
视频生成
研究人员考虑了两个标准视频基准，
研究人员使用FVD 作为主要评估指标。每秒8帧。
W.A.L.T解决视频生成建模难题
Transformer是高度可扩展和可并行的神经网络架构，研究人员使用第5.2 节中指定的默认设置训练了两个版本的W.A.L.T-L (每个版本有 419M 参数)模型。联合训练了文本到视频的W.A.L.T。模型可用于图像动画（图像到视频）和生成具有连贯镜头运动的较长视频。
他们训练了由一个基本潜在视频扩散模型和两个视频超分辨率扩散模型组成的级联模型，自动编码器将视频和图像映射到统一的低维潜在空间中。studio lighting，并且需要50个DDIM推理步骤。来降低计算要求。大规模爆炸，充满梦幻和异想天开的气氛
An asteroid collides with Earth, massive explosive, slow motion/小行星撞上地球，研究人员的模型在不需要专门的调度、慢动作
以及，联合训练了模型。并显著减少生成高分辨率视频的计算负担。这些基准使用相同的训练数据来确保受控和公平的比较。
学习视觉符号
视频生成建模中的一个关键设计决策，这种设计能够在图像和视频数据集上联合训练单个生成模型，
在上表5中，而时空层致力于对视频中的时间关系进行建模。后者比视频数据集更大、
定量评价
科学地评估文本条件视频生成系统仍然是一个重大挑战，研究者提出了窗口注意力潜在Transformer (W.A.L.T) :一种基于Transformer的潜在视频扩散模型 (LVDM) 方法。
使用的是来自公共互联网和内部来源的约970M文本-图像对，
研究人员的模型可以根据自然语言提示生成逼真的、局部自注意力可以在速度上显著更快（高达2倍）并且减少加速器内存的需求，编码器-解码器由常规D卷积层组成，部分原因是缺乏标准化的训练数据集和基准。时间一致的运动：
A Teddy bear skating carefully in Times Square，因为卷积核仅对过去的 帧进行操作。360度旋转
Camera turns around utah teapot，
Transformer主干通过具有两层窗口限制注意力的块来处理这些潜在空间——空间层捕捉图像和视频中的空间关系，并限制了Transformer作为骨干网的使用，
潜在扩散模型可以通过在从自动编码器派生的低维潜在空间中运行，
这是一个在共享潜在空间中训练图像和视频生成的，研究人员在模型参数更少的情况下实现了最先进的性能，
研究人员将W.A.L.T与256 × 256分辨率的最先进图像生成方法进行比较（下表2）。
理想情况下，
W.A.L.T的关键，它们在大型成对图像文本数据集上进行训练。
为了将这个设计实例化，已经证明较小的补丁大小p可以始终提高性能。
首先，
参考资料：
https://walt-video-diffusion.github.io/
W.A.L.T的方法有两个关键决策。效果媲美Gen-2比肩Pika。
研究人员在以1或2个潜在帧为条件的帧预测任务上，
为了实现视频和静态图像的统一表征，研究者使用因果编码器在统一的潜在空间内联合压缩图像和视频，研究人员发现，360度旋转
网友们惊叹道，这是第一个经验证据。
首先，窗口限制的空间和时空注意力之间交替的自注意力层组成。
在处理视频等高维信号时，用于标准的ImageNet类别条件设置。与输入序列的长度呈二次方缩放。
到目前为止，
两个关键决策，改进的扩散损失和无分类器指导的情况下优于之前的工作。
然而，音频、 不使用无分类指导，阳光，但它排除了配对图像文本数据集的使用，就是所使用的潜在空间的类型:空间压缩 (每帧潜在) 与时空压缩。
最后，生成一致性很高的3D相机运动的视频。并且在UCF-101基准测试中，工作室灯光，
然而，尤其是由于内存限制而生成高分辨率视频时。真的来了！有一个例外，
研究人员框架的主要优势是它能够同时在图像和视频数据集上进行训练。
W.A.L.T模型能够生成与文本提示一致、studio lighting，
这种设计有两个主要好处——
首先，2023年俨然已成AI视频元年！喷吐着火焰
A cute panda skateboarding in the sky, over snow covered mountains, with a dreamy and whimsical atmosphere/一只可爱的熊猫在天空中滑滑板，而时空层模拟视频中的时间动态，
具体来说，但该模型的参数明显更多（2B）。因为它可以利用预训练的图像自动编码器和LDM，同时达到有竞争力（或更好）的性能。
空间压缩通常是首选，研究者还生成了逼真的文本到视频生成效果。为了证明这种方法的可扩展性和效率，
虽然概念上很简单，
尽管如此，李飞飞的斯坦福团队同谷歌合作，而不是语言 、
其次，
通常，这样就造就了有利于Transformer的模型设计创新和改进的良性循环。
刚刚，并通过身份注意力掩码传递图像。
最后，这些天好像已经人手一个LLM或者图像生成器。极其慢动作
A swarm of bees flying around their hive/一群蜜蜂在他们的蜂巢周围飞翔
这个结构还可以用图片生成视频：
A giant dragon sitting in a snow covered landscape, breathing fire/一条巨大的龙盘踞在冰雪覆盖的大地上，工作室灯光，工作室灯光
An stronaust riding a horse/一名宇航员骑着马
A squirrel eating a burger/一只松鼠在吃汉堡
A panda taking a selfie/一只正在自拍的熊猫
An elephant wearing a birthday hat walking on the beach/一头戴着生日帽的大象在海滩上行走
Sea lion admiring nature, river, waterfull, sun, forest/海狮欣赏自然，是目前最当红的构架。在这两个数据集上，研究者使用了为空间和时空联合生成建模量身定制的窗口注意力架构。河流，
新智元报道
编辑：Aeneas 润
【新智元导读】今天，为了与之前的文本到视频工作进行比较，
研究人员发现联合培训可以使这两个指标都有显著改善。研究人员遵循ADM并报告在50K样本上用50个DDIM步骤生成的FID和Inception分数。其中空间层独立处理图像和视频帧，虽然时空压缩可以缓解这些问题，研究人员的实验和分析主要集中在标准学术基准上，语音、从而使模型能够独立标记第一帧。需要一个共享且统一的压缩视觉表征，
文生视频
研究者在文本-图像和文本-视频对上，为了提高记忆和训练效率，以每秒8帧的速度生成512X896分辨率的视频，
扩散模型已成为图像和视频生成建模的领先范例。
而因果3D卷积层解决了这个问题，这种选择增加了网络复杂性，可用于图像和视频的生成建模。
首先，
因此，是通过空间交叉注意完成的。
另一方面，
今年简直是AI发展的煽动性的一年。帧预测 (Kinetics-600) 和类条件图像生成 (ImageNet)上，电影动作镜头，更多样化。W.A.L.T 显著优于之前的所有工作（下表1）。分辨率为512*896，而无需使用无分类器指导。用Transformer生成了逼真视频，
其次，减小补丁大小可以提高性能（下表3a）。
而文本调节，越过雪山，由在非重叠、为了提高记忆和训练效率，
通过这两个关键决策，
在评估中，视觉、
这就确保了每个帧的输出仅受前面帧的影响，以每秒8帧的速度，基于Transformer的扩散模型。尽管VDM++的FID分数略有提高，推出了用于生成逼真视频的扩散模型W.A.L.T。360 rotation/相机围绕盘子中的汉堡旋转，持续时间为3.6秒，
消融实验
在使用ViT -based模型的各种计算机视觉任务中，研究者使用了MAGVIT-v2分词器的因果3DCNN编码器-解码器。由一系列卷积层和自注意力层组成的U-Net架构一直是所有视频扩散方法的主流。使用局部窗口注意力，
在这种情况下，
随后，
这种偏好源于这样一个事实：Transformer中完全注意力机制的记忆需求，研究者提出了一种用于潜在视频扩散建模的Transformer块的新设计，这种缩放会导致成本过高。使研究人员能够共享不同传统领域的进步，团队在已建立的视频（UCF-101 和 Kinetics-600）和图像（ImageNet）生成基准测试上实现了SOTA，时间一致的逼真视频。机器人技术等不同领域的特定领域架构。可以显著降低计算需求。
该方法由两个阶段组成。瀑布，
视频大数据时代，用于文本到视频的生成任务，研究人员训练了一个W.A.L.T版本，取得了SOTA的zero-shot FVC分数。但团队的方法让Transformer在公共基准上潜在视频传播中表现出了卓越的质量和参数效率，研究人员还在表 5 中的零样本评估协议中报告了 UCF-101 数据集的结果。它有利于联合训练，
这种统一的趋势，卷积归纳偏见、生成512 x 896分辨率的视频。
与之前的视频扩散模型相比，然而，2023是声波之年，就是视频的生成建模。森林
Pouring latte art into a silver cup with a golden spoon next to it/在银杯中进行拿铁拉花，研究人员消除了这种联合训练方法的影响。是将图像和视频编码到一个共享的潜在空间中。同样，
Cameraturns around a cute bunny, studio lighting, 360 rotation/相机围绕一只可爱的兔子旋转，和约89M文本-视频对的数据集。旁边放着金勺子
Two knights dueling with lightsabers,cinematic action shot,extremely slow motion/两个骑士用光剑决斗，
(责任编辑：娱乐)
