什么是 SG Com?
SG Com SDK 可以用于访问 Speech Graphics 的实时音频驱动的脸部动画技术,使开发人员能够创建由语音驱动的虚拟角色应用。
SG Com 的处理引擎可将输入的音频流转换为同步、高保真的脸部动画,并可将其流式传输到其他端点。输出动画包括嘴型同步、全脸表情、眨眼、眼球微动,甚至头部运动,所有这些都通过专有的 Speech Graphics 算法由说话者的声音驱动。输入和输出之间的处理延迟为 50 毫秒。
SG Com 还包括一个播放器,用于处理引擎制作的动画的缓冲、解码和同步播放。
SDK 包括:
SG Com API,一个 C API
SG Com Unreal Engine 插件,可轻松集成到 Unreal Engine 中
还可根据要求提供 C# 绑定和 Unity 集成示例。
SG Com 5 有哪些新特点?
节省 CPU 成本
对于骨骼装备,SG_COM_UpdateAnimation 的 CPU 成本降低了三分之二(每块骨骼)。请参阅 SG Com 计算资源使用情况。
许可
现在有两种许可选项:
基于密钥的许可
密钥字符串会输入到 SG_COM_Initialize 的
license_data
参数中
基于云的许可
.lic 文件的路径会输入到 SG_COM_Initialize 的
license_data
参数中仅适用于 Windows 和 Linux
需要具有两个开放端口的互联网连接
表情更改的状态类型
SG Com 会为 SG_COM_EngineStatusCallback 发送新的状态类型:SG_COM_STATUS_EXPRESSION_CHANGED。每当 SG Com 启动一个新的脸部表情时,就会触发该操作。有效载荷包括表情的完整路径。这可用于使其他动画与表情同步。
自动模式控制器
我们现在会将枚举 SG_COM_AutoMode 用于自动检测到的状态,如情绪或其他声音 events。
SG Com 4 依靠对角色情绪模式的特定命名来自动触发它们,例如“积极”、“消极”和“确认”。现在,自动模式可以在运行时映射到任何情绪模式,因此不再需要命名。
示例:
SG_COM_SetAutoMode(engine_handle, SG_COM_POSITIVE_MODE, "happy");
将积极自动模式映射到名为“快乐”的角色情绪模式,而
SG_COM_SetAutoMode(engine_handle, SG_COM_NEGATIVE_MODE, "angry");
将消极自动模式映射到名为“愤怒”的角色情绪模式。请注意,自动模式必须映射到某个情绪模式,才能对情绪产生影响。
要清除当前的自动模式映射,请使用
SG_COM_UnsetAutoModes();
还可以更改默认模式,即未检测到自动模式时使用的模式:
SG_COM_SetDefaultMode(engine_handle, "friendly");
请注意,为了激活自动模式检测,我们现在使用
SG_COM_ActivateAutoModes(engine_handle);
而如果要关闭自动模式检测并使用固定模式,例如“快乐”,请使用
SG_COM_SetMode(engine_handle, "happy");
用力声检测
提供了一种新的自动模式 SG_COM_EFFORT_MODE
,当在语音中检测到咕哝声或用力声时就会触发。这可能发生在一个人进行体力劳动时,通常包括声带收紧和发出非语音的咕噜声。这种自动模式可用于触发反映用力的表情,如脸部肌肉极度收缩和咬牙切齿。
API 更改
新的非嘴部功能有多种 API 更改,还有一些直接的名称变动,例如“情绪”现在更名为“模式”,“控制器”现在更名为“修改器”。
SG Com 4 | SG Com 5 | 描述 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| 名称更改 |
|
| |
| 自动模式的新枚举 | |
|
| |
|
| |
|
| |
|
| |
| 将自动模式映射到角色的特定情绪模式。如果未指定,自动模式将不会触发任何情绪变化 | |
| 清除自动模式映射 | |
| 使用该 API 可激活自动模式检测。替代了 | |
| 使用该 API 可更改默认模式,默认模式是指在没有自动或明确设置其他模式的情况下激活的情绪模式。 |