原文来源:青稞AI
作者:Li Hu、Xin Gao
图片来源:由无界 AI生成
Project page:
Code:
Arxiv:
Youtube Video:
前言
Animate Anyone是阿里巴巴通义实验室XR Lab最新推出的成果,只需要单张图片和Openpose动作就可以让图片动起来并保持稳定性。
具体来说,Animate Anyone是基于Diffusion model (扩散模型结构)来进行pose2video的生成,通过如2D openpose的姿态骨架skeleton,来引导(guide)网络生成和参考图像reference image一致的角度动态效果。
Animate Anyone也是第一个在Pose2Video领域生成角色动画达到80分成绩的方法。Twitter上各路大V都在转。
在Reddit的SD channel热度排名第1!
核心贡献
• ReferenceNet: ReferenceNet这个组件能够将参考图(reference image)中的细节,集成(integrate)通过spatial attention(空间attention机制)到diffusion model。此网络是保持复杂的外观特征与reference image一致性的关键。
青稞
微信里点“发现”,扫一下二维码便可将本篇文章分享至朋友圈
