Skip to main content
Skip table of contents

什么是 SG Com?

SG Com SDK 可以用于访问 Speech Graphics 的实时音频驱动的脸部动画技术,使开发人员能够创建由语音驱动的虚拟角色应用。

SG Com 的处理引擎可将输入的音频流转换为同步、高保真的脸部动画,并可将其流式传输到其他端点。输出动画包括嘴型同步、全脸表情、眨眼、眼球微动,甚至头部运动,所有这些都通过专有的 Speech Graphics 算法由说话者的声音驱动。输入和输出之间的处理延迟为 50 毫秒。

SG Com 还包括一个播放器,用于处理引擎制作的动画的缓冲、解码和同步播放。

SDK 包括:

还可根据要求提供 C# 绑定和 Unity 集成示例。

SG Com 5 有哪些新特点?

节省 CPU 成本

对于骨骼装备,SG_COM_UpdateAnimation 的 CPU 成本降低了三分之二(每块骨骼)。请参阅 SG Com 计算资源使用情况

许可

现在有两种许可选项:

  1. 基于密钥的许可

    1. 密钥字符串会输入到 SG_COM_Initializelicense_data 参数中

  2. 基于云的许可

    1. .lic 文件的路径会输入到 SG_COM_Initializelicense_data 参数中

    2. 仅适用于 Windows 和 Linux

    3. 需要具有两个开放端口的互联网连接

表情更改的状态类型

SG Com 会为 SG_COM_EngineStatusCallback 发送新的状态类型:SG_COM_STATUS_EXPRESSION_CHANGED。每当 SG Com 启动一个新的脸部表情时,就会触发该操作。有效载荷包括表情的完整路径。这可用于使其他动画与表情同步。

自动模式控制器

我们现在会将枚举 SG_COM_AutoMode 用于自动检测到的状态,如情绪或其他声音 events。

SG Com 4 依靠对角色情绪模式的特定命名来自动触发它们,例如“积极”、“消极”和“确认”。现在,自动模式可以在运行时映射到任何情绪模式,因此不再需要命名。

示例:

SG_COM_SetAutoMode(engine_handle, SG_COM_POSITIVE_MODE, "happy");

积极自动模式映射到名为“快乐”的角色情绪模式,而

SG_COM_SetAutoMode(engine_handle, SG_COM_NEGATIVE_MODE, "angry");

消极自动模式映射到名为“愤怒”的角色情绪模式。请注意,自动模式必须映射到某个情绪模式,才能对情绪产生影响。

要清除当前的自动模式映射,请使用

SG_COM_UnsetAutoModes();

还可以更改默认模式,即未检测到自动模式时使用的模式:

SG_COM_SetDefaultMode(engine_handle, "friendly");

请注意,为了激活自动模式检测,我们现在使用

SG_COM_ActivateAutoModes(engine_handle);

而如果要关闭自动模式检测并使用固定模式,例如“快乐”,请使用

SG_COM_SetMode(engine_handle, "happy");

用力声检测

提供了一种新的自动模式 SG_COM_EFFORT_MODE,当在语音中检测到咕哝声或用力声时就会触发。这可能发生在一个人进行体力劳动时,通常包括声带收紧和发出非语音的咕噜声。这种自动模式可用于触发反映用力的表情,如脸部肌肉极度收缩和咬牙切齿。

API 更改

新的非嘴部功能有多种 API 更改,还有一些直接的名称变动,例如“情绪”现在更名为“模式”,“控制器”现在更名为“修改器”。

SG Com 4

SG Com 5

描述

SG_COM_STATUS_MOOD_CHANGED

SG_COM_STATUS_MODE_CHANGED

名称更改

SG_COM_EngineControl

SG_COM_Modifier

名称更改

SG_COM_SetEngineControl

SG_COM_SetModifier

名称更改

SG_COM_GetEngineControl

SG_COM_GetModifier

名称更改

SG_COM_CTRL_SCALE

SG_COM_MOD_SCALE

名称更改

SG_COM_CTRL_SPEED

SG_COM_MOD_SPEED

名称更改

SG_COM_CTRL_EXPRESSION_FREQ

SG_COM_MOD_EXPRESSION_FREQ

名称更改

SG_COM_SetMood

SG_COM_SetMode

名称更改

SG_COM_GetMood

SG_COM_GetMode

名称更改

SG_COM_GetMoodList

SG_COM_GetModeList

名称更改

SG_COM_EngineRole

SG_COM_Role

名称更改

SG_COM_SetEngineControl

SG_COM_SetModifier

名称更改

SG_COM_GetEngineControl

SG_COM_GetModifier

名称更改

SG_COM_STATUS_EXPRESSION_CHANGED

SG_COM_Status 枚举的新成员。有效载荷包括表情库中表情的路径。

SG_COM_AutoMode

自动模式的新枚举

SG_COM_POSITIVE_MODE

SG_COM_AutoMode 枚举的成员

SG_COM_NEGATIVE_MODE

SG_COM_AutoMode 枚举的成员

SG_COM_EFFORT_MODE

SG_COM_AutoMode 枚举的成员

SG_COM_ACKNOWLEDGE_MODE

SG_COM_AutoMode 枚举的成员

SG_COM_SetAutoMode

将自动模式映射到角色的特定情绪模式。如果未指定,自动模式将不会触发任何情绪变化

SG_COM_UnsetAutoModes

清除自动模式映射

SG_COM_ActivateAutoModes

使用该 API 可激活自动模式检测。替代了 SG_COM_SetMode 中使用的关键字“auto”

SG_COM_SetDefaultMode

使用该 API 可更改默认模式,默认模式是指在没有自动或明确设置其他模式的情况下激活的情绪模式。

JavaScript errors detected

Please note, these errors can depend on your browser setup.

If this problem persists, please contact our support.