SGX 交互式处理
SGX 的目标是自动生成与说话者声音表现准确匹配的脸部动作,尽量减少用户干预。不过,在某些情况下,您可能希望对结果拥有更多控制权。
因此,SGX 4 不仅提供了全自动工作流程,还提供了用于微调的交互式工作流程。
下面将讨论该工作流程的各个阶段。
可视化
使用 SGX Director 可以将 events 加载到 event 编辑器中,该编辑器支持交互式播放音频和动画。动画输出的方式为实时连接 SGX Director 到目标 3D 平台上的 SGX Studio 插件。下面是在 event 编辑器中播放的示例,其中实时动画在 SGX Studio Unreal 插件中可视化。
该功能提供了对时间轴进行编辑所需的即时视觉反馈。
编辑
可视化输出后,如果需要,您可以通过直接编辑 event 的元数据或文本对动画进行微调(请参阅编辑 Events)。
要使任何编辑应用到输出动画,必须对 event 进行重新处理。
重新处理
处理可以重复执行。每次重新处理时,任何新的编辑都会对生成的动画产生影响。从后台看,重新处理 event 的过程如下:
删除 event 中的所有序列:不包括:
输入(音频和文本);
用户编辑的任何元数据序列
然后,除了已编辑的元数据序列被用作默认分析的替代品,event 将按正常方式处理。
在重新处理过程中需要注意排序效果。Event 中的序列是自上而下生成的。因此,对较高(较早)序列的更改会导致较低(较晚)序列的更改。例如,情绪模式序列的更改会导致表情序列的更改。但是,如果下游序列也已编辑,则无论上游如何编辑,都不会重新生成。重新生成已编辑序列的唯一方法是删除。
元数据描述中指定了每个元数据序列的前置项。
实际工作流程
下面是一个可视化/编辑/重新处理工作流程的示例。预览动画,更改表情,重新处理 event,然后再次查看动画以检查结果。这个工作流程可以反复进行,直到用户对结果感到满意为止。