Facebook 人工智能系统:可将视频与可控人物主体分离

手机中国 04-19

【CNMO 新闻】在最近发表于 Arxiv.org 的论文中,Facebook 的 AI 科学家介绍了一种从真实世界视频中提取可控人物的人工智能系统。论文作者表示,该方法允许我们从视频中提取出一个人物并控制他的动作。AI 模型会生成这个人物的图像序列,进而产生一个可以随意选择视频背景的视频,同时人物的外观和动作变化将不受影响。

Facebook

该团队主要依赖两个神经网络实现这一点,一个是 Pose2Pose,它是一个绘制人物现有姿态和控制下个姿态的单一实例操控信号的架构。而另一个就是将现有姿态和新姿态连同视频背景放入输出帧的 Pose2Frame。新视频的生成可以被所有的低阶信号控制,例如操纵杆或键盘。研究者声称,该 AI 系统可以将提取出的人物放入新的动态背景中。

首先,包含有一个或多个任务的原视频会被输入进用于详细分类的 Pose2Pose 网络中,随后人物的外表和动作会系统识别出来,其中人物的动作变化会被用作人物的质心轨迹。借助这些数据,Pose2Frame 网络将基于人物动作的变化和不受人物影响的部分分离开,并最终生成融合了新背景的输出视频。

为了训练该 AI 系统,研究者使用了三段时长 3 到 8 分钟的视频,内容分别为网球、击剑和竞走。

相关标签: facebook 人工智能 ai 神经网络

手机中国
以上内容由“手机中国”上传发布 查看原文
最新评论

相关阅读

分享 返回顶部