【2023-12-20 03:42:00爱思瑞网快讯】
苹果公司发布了一篇研究论文，讨论了他们所称的HUGS，一种可以从简要视频中创建数字人类化身的生成式人工智能技术，大约需要30分钟。
通过苹果的机器学习研究页面发布，并由苹果研究员Anurag Ranjan分享在X上，”HUGS: 人类高斯斑点”讨论了创建数字化人类化身的技术。使用机器学习和计算机视觉，该研究详细介绍了创建过程，使用相对较少的源材料。
当前的神经渲染技术相对于早期版本有了显著改进，但它们仍更适合”静态场景的摄影测量，对环境中自由活动的人类并不擅长”，前言解释道。
人类高斯斑点（HUGS）的概念使用了一种称为3D高斯斑点的技术，在场景中创建可动画的人类。
该方法本身需要一小段主题的视频，通常在场景中运动，并展示尽可能多的表面供系统使用。在某些情况下，该技术可以使用非常短的剪辑，有时只需50到100帧的单目视频，相当于2到4秒的24fps视频。
苹果声称该系统已经在30分钟内”解离出静态场景和完全可动画的人类化身”。
虽然SMPL身体模型用于初始化人类高斯模型，但它不能捕捉到每个细节。该过程可以偏离SMPL模型以填补被捕捉和包含在模型中的元素之间的空白，比如衣物和头发。
还有一个提议，即优化线性混合皮肤权重，使其能够与高斯模型的运动协调，改善模型的外观。
最终，从训练视频到输出速度为60fps的高清画面上的”最先进渲染质量”人类模型和场景动画大约需要半个小时。据称，这比其他方法快了大约100倍，包括NeuMan和Vid2Avatar。
该研究论文的作者列出为Muhammed Kocabas、Rick Chang、James Gabriel、Oncel Tuzel和Anurag Ranjan，并与马克斯·普朗克智能系统研究所合作完成。
苹果公司一直在研究创建数字化人类化身的想法，在苹果Vision Pro中出现了高度详细的版本概念。为了实现FaceTime对话以及用户眼睛的外部视图，该头盔创建了一个数字的”Persona”，用于以各种方式代表用户。
