Udacity 全新 AI 系统!只要提供音档,就能自动生成


  • 2020-06-09

Udacity 全新 AI 系统!只要提供音档,就能自动生成

线上课程已经成为了终生学习者们不可或缺的学习资源,而要完成一份高质量的影片,需要耗费不少人力和资源。尤其是在包含影片处理的时候,专业的讲座影片片段处理需要的不只是工作室和设备,更重要的是转化、编辑、上传的每一节课程的原始影片素材。

最近,为了解决这一问题,Udacity  的研究团队就尝试将影片生产这一过程自动化。他们研究了一套 AI  系统,希望将音档直接转化为讲座影片。

只要传个语音就好,AI 会自动生成影像

MOOC  平台上的内容生产可以是名利双收,但是这些内容生产工作往往耗费大量时间。这就是为什幺 Udacity  的研究开发人员採用机器学习去自动将语音旁白生成讲座影片。这一研究被发表在一篇名为 LumièreNet: Lecture Video Synthesis from Audio 的论文中。

在发表的论文中他们提到,通过直接定位语音文件和对应视角,机器学习框架 LumièreNet 可以合成任何长度的影片。

论文传送门

Udacity 全新 AI 系统!只要提供音档,就能自动生成

「在现行的影片製作中,AI  的参与或者半参与都能大规模实现影片生产的自动化,这将为灵活的影片内容发展提供巨大价值,因为不需要再去拍摄新的影片」,论文的作者说,「我们推行一种将任意长度的讲座录音去合成讲座影片的新方法 …… 一个简易的、模块化的、完全基于神经网路的系统。通过输入演讲音档,就能得到对应的全身演讲影片,这在之前还没有从深度学习的视角被强调过。」

LumièreNet  的合成主要针对唇部周围的面部表情,然后通过借用其他影片去合成画面的其他部分。但是因为演讲者的情绪不只是通过面部表情传达,所以这个研究模型还有一个姿势判断组件,通过从影片框架训练数据集中提取的数据合成身体特徵图像。简要来说,就是通过对身体主要几个点的探测和定位,去创造真人演讲的生动细节。还有一个模块是关于双向循环长短期记忆(BLSTM)神经网路,按正序或倒序处理数据,使得每一次输出都能反映之前的输入和输出 —— 它会利用输入的语音特徵和目的去推测它们和视觉元素之间的关係。

Udacity 全新 AI 系统!只要提供音档,就能自动生成

机器学习研发新角度,但结果还稍嫌不足

为了测试 LumièreNet,研究人员拍摄了一个八小时的室内讲座影片,产出了大概四小时的影片和两段用于训练和验证的旁白。

研究人员报道说,通过训练的 AI  系统可以生成逼真的影片片段,有流畅的身体动作和写实的头髮,但是这些结果在观察者眼里还是不能骗过观察者的眼睛。

因为这些姿态评估器不能捕捉像眼球运动、嘴唇、头髮、衣物之类的细节,被合成的演讲者很少眨眼而且他们嘴巴的运动看起来有些不自然。

Udacity 全新 AI 系统!只要提供音档,就能自动生成

生成影片範例:1 号传送门 、2 号传送门

可以看到,在这一段合成的影片中人物的动作不够生动,尤其是缺乏眼神上的交流。虽然嘴唇的开合与叙述几乎完美同步,但是缺少更精细的运动细节。仔细看的话,会发现手指之间看起来模糊,更糟糕的是眼睛有的时候会看向不同的方向。

线上学习 AI 技术的下一步

研究团队猜想,「面部要点」(例如,生动的细节)的添加或许能够使合成变得更好。幸运的是,他们的系统模块设计使得每一个组件都能被独立训练和验证。

「许多未来的方向都是可被探索的」研究人员写道,「即使最开始的时候只是用于支持灵活的影片内容发展。我们知道这项技术存在潜在的滥用行为 …… 但是希望研究结果可以促进深度学习在商业影片生产领域的发展。」