基于深度学习的角色动画魔法书

动画制作历来是计算机图形学的难点,要让虚拟角色自然动起来,不仅需要汗牛充栋的工作量,还需要可圈可点的动画技巧。深度学习近年来崛起,是否可以自动化生成高质量动画,解决这个困扰动画师的难题呢?

牛人博士Starke基于这个理念,与导师Komura老师一起,持续钻研怎样用深度学习来“施展动画魔法”,让虚拟角色们自由奔跑、运球、开门......他们发表的一系列论文,就像一个个高阶魔法,逐步加强了这个动画魔法书的力量。

GitHub - sebastianstarke/AI4Animation: Bringing Characters to Life with Computer Brains in Unity

人物行走魔法

在SIGGRAPH 2017上,Starke博士首次使用了神经网络控制字符在复杂地形上的行走,这是动画领域的第一次尝试。网络的设计充分考虑了人物步态的周期性特点,实现了行走动画的自适应生成。

四足动物奔跑魔法

在SIGGRAPH 2018上,为应对四足动物更复杂的运动,Starke博士设计了模式自适应神经网络,可以无监督学习不同的奔跑模式,大大简化了传统方法中需要标记不同步态的复杂过程。

人机交互魔法

在SIGGRAPH 2019上,这个团队开发了神经状态机框架,实现了角色与虚拟场景的交互,比如打开门、避开障碍物等,这在过去对动画师来说可是噩梦级难题!

全身运动魔法

为了应对更为复杂的全身运动,在SIGGRAPH 2020上,Starke博士提出使用局部动作相位来学习球类运动、躲避等全身协调动作的生成。

动作组合魔法

在SIGGRAPH 2021上,研究团队实现了使用神经网络进行复杂动作的分层与组合,可以交互生成不同技能的新颖组合,这在传统动画系统中因为时间对齐非常困难。

......

可以看出,这一系列工作形成了一个强大的动画生成魔法书。它已经包含人物行走、奔跑、运动、交互等多种高级动画生成魔法。以后这个魔法书还会不断成长,希望终有一天,它的魔法会流行到所有使用动画的地方,极大简化动画师的工作。到那时,我们只需要对虚拟角色下达一个简单指令,它就可以立即执行出复杂逼真的动作,届时动画制作将变得无比简单快捷!