当产业发展到一定阶段之后,必然要经历从“唯产能论”到“精品意识”的过渡。作为数字经济发展的新引擎,游戏行业近年来保持着高速增长的态势。但是受制于成本、技术等因素,精品供给有待进一步加强,才能与供给侧改革的战略同步,带动行业全面进入精品化时代。

作为一家游戏人工智能研究机构,成立于 2017 年的网易伏羲,覆盖了强化学习、自然语言、图像动作、用户画像、虚拟人、大数据、云计算等领域,致力于运用人工智能尖端技术为玩家营造新世代的游戏体验。其中,以“降本增效”的游戏剧情动画制作技术为核心,围绕虚拟形象创建、表情、动作、语音等维度,网易伏羲期望以此丰富虚拟角色的交互体验,实现游戏玩法的创新,为游戏精品化提速升级。

AI剧情动画制作能力,为游戏精品化提速

随着越来越多的厂商对游戏视觉化呈现的重视,为游戏制作高质量的剧情动画或游戏衍生内容,成为了广泛共识。但传统的动画制作要求严苛,专业化程度高、制作成本高、制作周期长,对精品化进程造成了一定程度的阻滞。

网易伏羲推出的 AI 剧情动画制作,则致力于破解这一难题,通过输入一段语音或台词,人工智能技术即可自动合成虚拟角色的表情、口型。表情细腻,口型与语音精准匹配,使虚拟形象栩栩如生。且虚拟角色精通中英日韩等多种语言,支持 3D、写实、卡通二次元等多种美术模型及风格。这项技术使动画制作门槛和成本实现了“双低”,研发效率显著提升,可谓是名副其实的“降本增效”。

即使 AI 具有独特的技术优势,但要实现把声音、文字转化为动画,且衔接流畅,并不容易。只有当声音和口型一一对应,并同时考虑发音时间的长短,才能塑造出高度拟真的剧情动画。网易伏羲通过对深度学习的钻研,研究出的口型动画参数生成技术终于解决了这一问题,从而形成高效而精简的 AI 剧情动画制作能力。该产业成果载入《(2020)中国虚拟数字人白皮书》,同时,网易伏羲参与行业标准《(中国)虚拟数字人指标要求和评估方法》制定。相关算法发表在AI顶级学术会议CVPR 2020,CVPR 2021,AAAI 2021,IJCAI 2021,并入选国际游戏开发者GDC 2021机器学习峰会。

截至目前,AI 剧情动画制作已经在《逆水寒》《天谕》等知名游戏中落地。以《天谕》手游为例,该能力为其生产了超过 10 小时的剧情动画,降低了研发成本之余,也提升了游戏内容的衍生价值,为游戏的“二创”和“二传”提供助力。

黑科技加持,营造逼真虚拟交互体验

除了 AI 剧情动画制作能力为厂商降本增效之外,网易伏羲还依托于 AI 技术的模拟能力,从表情、动作、情绪等维度为虚拟角色注入更饱满的生命力,不仅能帮助游戏产品完成细节创新,也为玩家营造出更逼真的虚拟交互体验,实现了从企业端到用户端的双赢。

·表情/动作迁移

网易伏羲提供了一套简单便捷,无需额外动捕设备辅助的表情和动作的迁移能力,可对用户的表情和动作进行精准复刻,并迁移到虚拟角色之上,从而驱动游戏内虚拟角色做出相同的表情及动作。

表情和动作迁移的整个过程,通过摄像头或根据用户上传的视频即可完成。AI 会自动检测用户的五官表情、头部姿态、肢体手势动作,甚至还能对眼球和舌头的运动还原追踪。下图就实现了面部表情、头部姿态、肢体手势动作以及眼球运动的精准迁移。

通过对表演者的动作和表情进行捕捉,实现在游戏中大规模的广场舞表演。

下图生动地展现了网易伏羲的 AI 迁移能力与专业动捕演员实时动捕的对比效果,彩色模型是高级动捕设备迁移的,暗色模型是 AI 算法基于视频迁移的。可以看出,网易伏羲的迁移能力,已达业内标杆水平。

今年 5 月 20 日,网易伏羲携手《倩女幽魂》手游,在游戏中上线了私人定制表情动作功能,玩家上传视频,通过动作迁移技术,在游戏各职业角色上细腻流畅地演绎出来,受到了玩家的热烈欢迎。

·情绪识别

如果说动作和表情迁移带来的是拟真体验,那么情绪识别则能为虚拟角色赋予“灵魂”,使得玩家交互过程中获得更具冲击力的感受。但是,人类的表情库十分丰富,学术界目前也无法对所有的表情做出精准地识别和描述,这无疑为厂商营造更加逼真的虚拟体验造成了一定程度的阻滞。

网易伏羲全新研究出的人类表情编码提取方法,则以人工智能的方式突破了这一瓶颈,通过学习大量的人脸表情数据,大幅提升了 AI 感知人类喜、怒、哀、惧、惊、厌、平等表情的精度,有望超越人类感知的平均水平。相关算法发表在AI顶级学术会议CVPR 2021,并在AI顶级学术会议ICCV 2021人脸表情国际大赛上摘得两项冠军一项亚军。目前,网易伏羲这套基于情绪识别的 AI 能力,已经与网易重磅在研的女性向游戏《绝对演绎》达成落地合作,为玩家营造更加真实和细腻的沉浸感体验。

结语

除此之外,在不久前举行的世界人工智能大会上,网易伏羲还正式推出了游戏行业人工智能解决方案,横跨 AI 反外挂、AI 竞技机器人、AI 对战匹配以及 AI 剧情动画制作四大 AI 能力,解决游戏行业的痛点,不仅能有效地遏制外挂、打金工作室等影响行业健康发展的现象,而且还能完善游戏的匹配机制,营造丰富的对战体验,实现 AI 技术在游戏行业的新突破。

产业发展到一定阶段,必然离不开创新技术的赋能。从网易伏羲落地的这一系列基于游戏场景化的 AI 能力应用,我们能够直观感受到其推动游戏行业精品化的决心。无论是着眼于降本增效的 AI 剧情动画制作,还是结合虚拟交互技术创新游戏玩法,这些 AI 能力所积蓄的力量,将会为行业的变革注入强大的驱动力,一个可以预见的精品化时代正在慢慢地向我们走来。