原文来源:青稞AI

作者:Li Hu、Xin Gao

图片来源:由无界 AI生成

Project page:

Code:

Arxiv:

Youtube Video:


前言


Animate Anyone是阿里巴巴通义实验室XR Lab最新推出的成果,只需要单张图片和Openpose动作就可以让图片动起来并保持稳定性。

具体来说,Animate Anyone是基于Diffusion model (扩散模型结构)来进行pose2video的生成,通过如2D openpose的姿态骨架skeleton,来引导(guide)网络生成和参考图像reference image一致的角度动态效果。

Animate Anyone也是第一个在Pose2Video领域生成角色动画达到80分成绩的方法。Twitter上各路大V都在转。

在Reddit的SD channel热度排名第1!


核心贡献


ReferenceNet: ReferenceNet这个组件能够将参考图(reference image)中的细节,集成(integrate)通过spatial attention(空间attention机制)到diffusion model。此网络是保持复杂的外观特征与reference image一致性的关键。

青稞

微信里点“发现”,扫一下二维码便可将本篇文章分享至朋友圈