站点图标 AI Siri-苹果智能资讯网

英伟达开源Audio2Face:AI实时面部动画,多语言口型精准同步

英伟达开源Audio2Face:AI实时面部动画,多语言口型精准同步

AiSiri网9月25日消息,据媒体报道,英伟达宣布将其生成式AI面部动画模型Audio2Face正式开源。 这次葫芦里装的药包括基础模型、完整软件开发工具包及训练框架,目标很明确:加速游戏和3D应用里那些“戏精”虚拟角色的进化速度。

Audio2Face的核心玩法是:输入音频,它就能像专业的唇语大师,自动分析里面的音素、语调等信息,然后直接驱动虚拟角色,生成超级精准的口型动作和自然的情感表情。

英伟达开源Audio2Face:AI实时生成面部动画 多语言口型精准同步

这技术能干嘛?用处大了!游戏开发、影视制作、虚拟客服…想象空间巨大。而且,它还支持两种模式:一是预录制音频的离线渲染,二是动态角色的实时流式处理。简单说,无论你想要精雕细琢,还是即时互动,它都能Hold住。

更实在的是,这玩意儿已经开始在游戏圈崭露头角了。 比如,游戏开发商Survios直接在《异形:侠盗入侵进化版》里用了Audio2Face,效果嘛…口型同步和面部动画制作流程直接简化好几个步骤。节省时间就是省钱,效率就是生命!

Farm 51工作室也没闲着,在《切尔诺贝利人2:禁区》里,利用这项技术,直接通过音频生成细腻的面部表情。 工作室的创新总监Wojciech Pazdur甚至激动地称其为“革命性突破”。 效果的确显著,不仅省时,还提升了角色的真实感,玩家沉浸感更强了,氪金的动力也就更足了,赢麻了。

退出移动版