主要针对动捕在Previz迭代的引入做了下预研。
这两天迭代暴露出的问题：
- 动画制作太慢，高精度的动作靠手掰需要更多的Polish时间才能保证质量。
- 涉及一些用动作捕捉更合适的多部位动画问题。
关于动捕的2次预研
- 早先时间其实各种工具和管线已经都评估过了一遍了，这次主要是要结合到实际制作和迭代中使用。
需求和注意点：
- 动作捕捉管线需要赶紧跑通
- 需要使用各种辅助手段来进行动作制作，否则会成为制作瓶颈。
- 尽可能配合mixamo的参数化动画和辅助修订来原型。
做了下简单的预研：
- 早上提出可以用openpose+unity方案。机器学习技术进展导致可以用更高精度的视觉捕捉方案做原型，Pose评估已经是相当成熟的一套技术了，所以应该有很高的可行度。
- 拿出生灰的perception neuron v2，现在VTuber基本都是用这类廉价动捕方案。
- Cinema mocap可以再试一次，之前试过质量不行。
实验过程-perception neuron v2
- 晚上试了下perception neuron v2，手指关节感知器出了问题，后来换了个备用的无手指版录了一下，视频如下。
实验过程-OpenPose方案
另一方面试了下基于caffe的openpose方案，比较稳定，但需要自己做扩展把数据处理到3d下 。
初步结论：
- 放弃 Cinema mocap，这个unity插件方案用的原生sdk，精度不高。
- Neuron有抖动问题，需要修订动捕数据。
- 根据需要几个工具配合着用。基于机器学习的方案有着更高的稳定性。
- 机器学习方案可以根据视频学习，有更大的应用空间。
- openpose方案有一些工作要做，不过可以结合FinalIK和物理动画来进一步限定效果区间，转成动画的部分会涉及进一步的机器学习封装。
- 注意时间投入，这方面的预研也应该以daily gamejam的标准来要求快速完成。
参考资料：
- OpenPose Unity Plugin
- OpenPose
- cinema-mocap-2
- Unity中结合OpenPose的数据读取
- tf-openposeによる姿勢推定をunityに落としこもうとしたけど失敗した話