3D AI合成主播背后:CG效果现在只需一段文本就能生成

2020-05-27 10:38:17

来源:搜狐科技

两会召开之际,搜狗联合新华社推出的全球首个3D AI合成主播“新小微”正式亮相上岗,为观众播报最新两会新闻资讯。自2018年搜狗自身的“分身技术”推出全球首个AI合成主播后,这也是搜狗首次将2D虚拟人升级为3D形象。

一个很直观的感受是,较之前的2D AI合成主播,3D“新小微”更加立体,在呈现方式上可以支持多机位多景深以及360°任意角度,更接近我们平日在电视看新闻的演播室调度。

3D AI合成主播可以支持多机位拍摄

2D AI合成主播

搜狗3D AI合成主播背后展现了哪些技术提升?对于商用落地和搜狗自身的战略规划分别带来哪些价值?对此,搜狗AI合成主播研发团队首次向搜狐科技在内的媒体揭秘了其背后故事。

搜狗AI交互技术部总理陈伟介绍,3D AI合成主播“新小微”以新华社记者赵琬微为原型,首先通过扫描还原、面部肌肉驱动、表情肢体捕捉等技术,生产出高度还原真人发肤的逼真数字人模型;同时结合多模态建模技术,使用语音、图像、文本、3D肌肉运动数据等多模态信息完成联合建模训练生成现在我们看到的3D AI合成主播。

事实上,超写实拟人化的“3D数字人”并非搜狗首创,其中CG动画技术已有成熟应用于影视特效制作的案例,完全可以达到以假乱真的地步。在电影《速度与激情7》中,已逝主演保罗·沃克通过这种“虚拟重生”的方式,依然承担了片中较重的戏份,但与之对应的是超长的制作周期与高昂的花费,因此带来的后期渲染费用高达5000万美金。

“在游戏3D行业里面,制作一分钟写实度很高的CG视频,一个专业的美术师差不多要花一个月的时间;我们之前还了解到一个公司,做了一部电影,其中剪出来超写实的(CG)片段一分半,但是他们几百个人做了一年半,这已经算是做得非常快的了”,陈伟表示。

《速度与激情7》中虚拟合成的经典镜头

不过“新小微”的播报新闻并不需要如此高成本且繁复的操作步骤。因为此前制作2D AI合成主播的经验积累,以及AI带来的自动化和低成本优势,搜狗从立项到完工大约花费了半年时间,制作费用大约耗费了百万元人民币。

虽然逼真度来看仍与一流的影视特效存在差距,但3D AI合成主播一个非常重要的特点是文本驱动,即输入一段新闻文本就能输出一个视频或者视频流的能力,而且这种视频输出的能力是实时的。我们平常接触的无论是电影特效人物还是游戏里的NPC,往往都需要大量的人力和时间来打磨。可以搜狗3D AI合成主播是一项“高性价比” 的创新,体现了AI“降本增效”的价值所在。

文本驱动的背后原因,是相比较CG技术,搜狗实现了AI驱动。事实上,即便是看起来难度低于超写实“数字人”的卡通虚拟歌手“洛天依”,它所能最终呈现的效果,都是通过真人采集-后期制作-重复播放来实现。而“新小微”的制作仅花费了1个小时来采集原型人物新华社记者赵琬微的声音模型。在此之前,搜狗已经通过数十人、上千小时、涵盖新闻、小说、客服、散文等领域的数据训练出了一套基础模型,然后再通过原型赵琬微的少量数据进行迭代优化即可。

这样的方式也意味着可以迁移学习,从而诞生不止一个“新小微”。除了迁移能力,从交付来看,3D AI合成主播的的门槛也并不高,只需要给客户提供一个在线生成的服务网站。

目前,虚拟“数字人”的研发制作已经成为全球各大科技公司AI实力储备的一部分,国外如三星,国内如百度、科大讯飞、商汤等,除AI主播外,金融、司法、教育领域均有落地。

平安普惠和搜狗合力打造的 AI视频面审机器人

而当虚拟“数字人”从2D升级到3D后,随之增强的灵活性也会意味着其适用的场景越来越多,“现在我们可能看到(AI主播)开始走进来,站着给你播报,可能不久的将来,他们就可能去做外景了,去采访人了”,搜狗AI交互技术部总理陈伟表示。

在今年年初的CES上,三星的“人造人”项目Neon曾引发轩然大波,在宣传视频的展示中,三星对这些以假乱真的“数字人”未来应用场景预设更为广泛——他们或是你的老师,健康咨询师,也可能成为电影明星。

搜狗也同样拥有更为宏大的愿景——“以语言为核心的AI技术战略布局,从语言能扩展出自然交互和知识计算,最后希望达到的是虚拟个人助理”,陈伟表示。

不过从“Siri之父”最终弃Siri而去,再到“小爱同学”在雷军在展示时多次“短路”,“AI个人助理”存在了很多年,也尴尬了很多年——其智能程度完全无法承担我们对“个人助理”这四个字背后预期的高度。

陈伟也坦诚,在超写实虚拟“数字人”这条赛道上,相比逼真度的提升,真正的难点是卡在了“语言理解”上。在感知层面,强于表达的虚拟“数字人”可以替代一部分主播的工作,却很难实现与人更进一步的互动——“通用的语言理解目前机器做得还是不够,我们看到的语音助手类无非就是问问天气怎么样,点个歌,插科打诨一下。所以我们也逐步看到,针对垂直场景定制它的对话能力,是目前比较可行的落地方案”。

不同的垂直场景定制也意味着更高的难度系数。“跳到教育领域,如果是一个线上的老师,他跟学生沟通的时候不可能像主播坐得那样笔直,学生表现很棒的时候,他可能需要时不时举个大拇指”,陈伟称。而在金融场景下,AI虚拟客服则需要通过一对一聊天,不断的观察、反问来拿到客户全部信息。

沿着场景驱动的思路,百度、科大讯飞、商汤等人工智能领头企业都在不同垂直领域进行探索。对于行业竞争,陈伟表示,“无论从识别到生成的,以及融合在一起的多模态能力,以及对话的能力、问答的能力,这里涉及的技术特别多,技术串联也特别多。我觉得一个公司想做好数字人相关的技术,需要一套完整体系和体系之间的协同,这是我认为比较大的壁垒。”

关键词: 3D AI合成主播