虚拟偶像AI实现
上QQ阅读APP看书,第一时间看更新

1.4 小结

近年来正处于虚拟偶像经济的黄金时代,国内外的虚拟偶像已经扛起了直播、代言、带货等之前真人偶像的职能。目前行业内主要有两种实现方式:第一种是借助付费商业化软件来实现;另一种是结合开源解决方案,并且根据2D和3D的呈现方式完成二次元合拟人态的实现。总体来说,付费商业化软件效果较好、成本较高,比较适合中大型公司,主要包含偶像模型构建、面部捕捉跟踪、身体姿态捕捉等功能,并应用到虚拟偶像人物的动作和姿态上。

从开源实现方案上划分,可以将虚拟偶像分为驱动静态图片和3D模型两类:对于驱动静态图片头部运动,业界上已经有First Order Motion Model算法;对于驱动3D模型身体运动,常用的是通过OpenPose获取视频流中的节点数据,并结合Unity或Unreal Engine来完成。关于人物模型构建方面,除了对Live2D工具进行介绍之外,还会对常见的3D建模工具Blender等进行讲解。另外,还会对这里要使用的TensorFlow、PyTorch等机器学习框架以及OpenPose或其他姿态估计算法进行介绍。