抖音图片怎么做成视频,抖音图片怎么做成视频保存

首页 > 数码 > 作者:YD1662024-05-08 23:35:47

即便成功“食用”,可能也得排大队……

抖音图片怎么做成视频,抖音图片怎么做成视频保存(13)

(没错!截至发稿,还是没有等到结果!)

除此之外,MagicAnimate在GitHub中也给出了本地体验的方式,感兴趣的小伙伴可以试试哦~

抖音图片怎么做成视频,抖音图片怎么做成视频保存(14)

那么接下来的一个问题便是:

怎么做到的?

整体而言,MagicAnimate采用的是基于扩散模型(diffusion)的一个框架,目的就是增强时间一致性、保持参考图像的真实性,并提高动画保真度。

抖音图片怎么做成视频,抖音图片怎么做成视频保存(15)

为此,团队首先开发了一个视频扩散模型(Temporal Consistency Modeling)来编码时间信息。

这个模型通过在扩散网络中加入时间注意力模块,来编码时间信息,从而确保动画中各帧之间的时间一致性。

其次,为了保持帧间的外观一致性,团队引入了一种新的外观编码器(Appearance Encoder)来保留参考图像的复杂细节。

这个编码器与以往使用CLIP编码的方法不同,能够提取密集的视觉特征来引导动画,从而更好地保留身份、背景和服装等信息。

在这两项创新技术的基础之上,团队进一步采用了一种简单的视频融合技术(Video Fusion Technique)来促进长视频动画的平滑过渡。

最终,在两个基准上的实验表明,MagicAnimate的结果要远优于以往的方法。

尤其是在具有挑战性的TikTok舞蹈数据集上,MagicAnimate在视频保真度方面比最强基线高出38%以上!

团队所给出的定性比较如下:

抖音图片怎么做成视频,抖音图片怎么做成视频保存(16)

上一页12345下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.