抚顺棋牌网北大和微软亚研院开发出 AI 模型“女娲”:可完成图像补全、一句话生成视频等八种视觉任务

文章正文
发布时间:2021-11-27 15:53

有这样一个模型,抚顺棋牌网它可以做到一句话生成视频:

不仅零样本就能搞定,性能还直达 SOTA。

它的名字,叫“NüWA”(女娲)

“女娲女娲,神通广大”,正如其名,一句话生成视频只是这个模型的技能之一。

除此之外,一句话生成图片草图生成图像、视频,图像补全,视频预测,图像编辑、视频编辑,一共八种视觉任务,它其实全部都能搞定,干瞪眼棋牌完全是一位不折不扣的“全能型选手”。

这就是由微软亚研院和北大联合打造的一个多模态预训练模型,在首届微软峰会上亮相。

目前,在推特上已“小有热度”。

八项全能“女娲”,单拎出来也不差

所以这个全能型选手究竟表现如何?

直接与 SOTA 模型对比,来看看“她”在各项任务上的表现。

在文本生成图像中,不得不说,即使“女娲”的 FID-0 得分不及 XMC-GAN,但在实际效果中,“女娲”生成的图肉眼可见的更好,清晰又逼真。

文本到视频中,“女娲”每一项指标都获得了第一名,从逐帧图片来看,海口彩票网差距很明显。

在视频预测中,所有模型使用 64x64 的分辨率,Cond.代表供预测的帧数。

尽管只有 1 帧,“女娲”也将 FVD 得分从 94±2 降到 86.9。

草图转图像时,与 SOTA 模型相比,“女娲”生成的卡车都更逼真。

而在零样本的图像补全任务中,“女娲”拥有更丰富的“想象力”。

在零样本的图像编辑任务中,“女娲”明显比 SOTA 模型的“P 图”能力更强。

并且,它的另一个优势是推理速度,几乎 50 秒就可以生成一个图像;而 Paint By Word 在推理过程中需要额外的训练,大约需要 300 秒才能收敛。

而草图生成视频以及文本引导的视频编辑任务,是本次研究首次提出,目前还没有可比对象。

直接上效果:

看,像上面这些仅用色块勾勒轮廓的视频草图,经“女娲”之手就能生成相应视频。

而输入一段潜水视频,“女娲”也能在文本指导下让潜水员浮出水面、继续下潜,甚至“游”到天上。

可以说,“女娲”不仅技能多,哪个单项拿出来也完全不赖。

如何实现?

这样一个无论操作对象是图像还是视频,无论是合成新的、还是在已有素材上改造都能做到做好的“女娲”,是如何被打造出来的呢?

其实不难,把文字、图像、视频分别看做一维、二维、三维数据,分别对应 3 个以它们为输入的编码器。

另外预训练好一个处理图像与视频数据的 3D 解码器。

两者配合就获得了以上各种能力。

其中,对于图像补全、视频预测、图像视频编辑任务,输入的部分图像或视频直接馈送给解码器。

而编码解码器都是基于一个 3D Nearby 的自注意力机制(3DNA)建立的,该机制可以同时考虑空间和时间轴的上局部特性,定义如下:

W 表示可学习的权重,X 和 C 分别代表文本、图像、视频数据的 3D 表示:

其中,h 和 w 表示空间轴上的 token 数,s 表时间轴上的 token 数(文本默认为 1),d 表示每个 token 的维数。

如果 C=X,3DNA 表示对目标 X 的自注意;如果 C≠X,3DNA 表示对在条件 C 下目标 X 的交叉注意。

该机制不仅可以降低模型的计算复杂度,还能提高生成结果的质量。

此外,模型还使用 VQ-GAN 替代 VQ-VAE 进行视觉 tokenization,这也让生成效果好上加好。

团队介绍

一作 Chenfei Wu,北京邮电大学博士毕业,现工作于微软亚研院。共同一作 Jian Liang,来自北京大学。

其余作者包括微软亚研院的高级研究员 Lei Ji,首席研究员 Fan Yang,合作首席科学家 Daxin Jiang,以及北大副教授方跃坚。通讯作者为微软亚研院的高级研究员 & 研究经理段楠。

首页
评论
分享
Top