- 本節では、CRIWARE Unreal Engine Plugin と CRIWARE ADX LipSync Plugin を用いて、 再生した音声からリアルタイムで口パターンを取得し、モデルに反映させる方法を解説します。
CRIWARE ADX LipSync Plugin とは
- CRIWARE ADX LipSync Plugin はリアルタイムな口形状情報の解析・取得機能を CRIWARE Unreal Engine Plugin に追加するための、拡張プラグインです。 CRIWARE ADX LipSync Plugin は ADX LipSync ライブラリと CRIWARE ADX LipSync Plugin クラスという、大きく分けて２種類のパーツから構成されています。 それぞれ、本 SDK パッケージ内の下記の場所に配置されています。
- ライブラリ：
- プラグイン実装(1)：
- プラグイン実装(2)：
CRIWARE ADX LipSync Plugin のインストール方法
- インストールを自動化するスクリプトやバッチは現 SDK バージョンでは提供されていません。 手動で、以下SDKパッケージ内の「コピー元のフォルダー」を「コピー先のフォルダー」にコピー＆ペーストする手順が必要になります。
- コピー元のフォルダー：
- コピー先のフォルダー：
口形状情報の生成・取得用クラス
- CRIWARE ADX LipSync Plugin をインストールすることで "ULipsAtomAnalyzer" クラスを使用できるようになります。 これは口形状情報の生成・取得のためのクラスです。ユーザはこのクラスからオブジェクトを作成し、UAtomComponentと紐付ける必要があります。 ULipsAtomAnalyzerオブジェクトは、自分に紐付けられたUAtomComponentオブジェクトで再生中の音声を自動的かつリアルタイムに解析し、口形状情報を生成します。 ユーザはULipsAtomAnalyzerオブジェクトのインタフェースを介して口形状情報を取得できます。
- UAtomComponent による音声再生方法については、別途「 AtomComponent 」を参照してください。