整个步骤简单来说,就是先让真人演一下,然后让AI把真人视频弄成动画版本。当然这个过程说起来容易,做起来复杂。
他们使用的工具是我们之前介绍过的Stable Diffusion,关键词给到AI,根据你添加的模板,它能帮忙生成各种风格的画面。
而想做视频首先要解决的问题,就是画面的不稳定性。
因为每一帧的画面不同,AI生成的画面也会有明显差异。例如之前网友制作的「塞尔达风格侏罗纪公园」,作品已经相当流畅,但依然可以看出人物本身都在飞速变化,发型不断改变。
所以Corridor先尝试在几帧内固定了画面风格,以此来让画面大体稳定住,不要变动得太离谱。
但此时人物风格依然在不断转变,比如每张图中,角色的眼睛大小、画风都会更换,甚至有时候戴眼镜有时候不戴。
为了解决这个问题,就要用到一个固定的模型,统一画风,让AI别想太多。
于是他们用《吸血鬼猎人D》的画面对AI进行训练,使用的截图包括各种面部特写、肢体、身体等等: