音声からモーションへの変換処理

SGXの中心となる機能は、音声（+ スクリプト）から、それに合わせたアニメーションを生成する機能です。この処理は、音声解析、ニューラルネットワーク、マッスルダイナミックシミュレーションによって行われています（「弊社のテクノロジー」参照）。

音声ファイルの処理ではまず、音声ファイルとスクリプトをインポートして、イベントに変換します。

次に、SGXのアルゴリズムがインプットされた音声とスクリプトを解析して、対応するモーションを生成します。この解析の過程で、メタデータを視覚化したものも音声タイムラインに生成されます。これらのシーケンスはすべてイベントに追加され、イベントファイルが保存されます。

イベントの処理は、SGX DirectorのGUIでインタラクティブに行うことも、SGX Producerでバッチ処理として行うこともできます。

音声的・音響的リップシンク処理

SGXではリップシンクの処理に、音声的リップシンクと音響的リップシンクという2つのシステムを採用しています。音声的リップシンクでは音声の補足データとしてスクリプトを使用しますが、音響的リップシンクでは使用しません。スクリプトを使用することで情報量が増えるため、基本的に、音声的システムのほうが音響的システムよりもリップシンクの品質が高くなります。

以下の3つの条件に当てはまる場合、音響的システムが自動で適用されます。

1. スクリプトが使用されていない

2. 言語モジュールが使用されていない

3. 音声的解析の信頼性が低い

3つ目の条件に当てはまる場合は音響的解析に処理が渡され、音声的解析の問題が修正されるため、音声的解析の信頼性が高くなります。このような自動修正機能があるため、使用されるリップシンクシステムがイベントの進行に伴って変更されることがあります。この変更はシームレスに行われます。なお、使用しているリップシンクシステムはメタデータで確認できるほか、SGX Directorのタイムラインで編集もできます（「イベントの編集」参照）。

イベントには、音声的システムがそのイベントで適切とみなされ、使用された割合を示す、音声的解析スコアという指標があります。