Unreal Engine プラグインを用いたリアルタイム口パク制御
本節では、CRIWARE Unreal Engine Plugin と CRIWARE ADX LipSync Plugin を用いて、 再生した音声からリアルタイムで口パターンを取得し、モデルに反映させる方法を解説します。

CRIWARE ADX LipSync Plugin とは

CRIWARE ADX LipSync Plugin はリアルタイムな口形状情報の解析・取得機能を CRIWARE Unreal Engine Plugin に追加するための、拡張プラグインです。 CRIWARE ADX LipSync Plugin は ADX LipSync ライブラリと CRIWARE ADX LipSync Plugin クラスという、大きく分けて2種類のパーツから構成されています。 それぞれ、本 SDK パッケージ内の下記の場所に配置されています。
- ライブラリ://cri/expansion/cri_adx_lipsync/UnrealEngine/Engine/Plugins/Runtime/CriWare/CriWare/Source/ThirdParty/CriWare
- プラグイン実装(1)://cri/expansion/cri_adx_lipsync/UnrealEngine/Engine/Plugins/Runtime/CriWare/CriWare/Source/CriWareRuntime
- プラグイン実装(2)://cri/expansion/cri_adx_lipsync/UnrealEngine/Engine/Plugins/Runtime/CriWare/CriWareAdxLipSync
Unreal Engine 上で ADX LipSync を UObject として使用したり、Blueprint 上で口形状情報を生成・取得したい場合は、この両パーツを CRIWARE Unreal Engine Plugin と組み合わせて使う必要があります。 後述のインストール方法に従ってフォルダーを上書きして下さい。

CRIWARE ADX LipSync Plugin のインストール方法

インストールを自動化するスクリプトやバッチは現 SDK バージョンでは提供されていません。 手動で、以下SDKパッケージ内の「コピー元のフォルダー」を「コピー先のフォルダー」にコピー&ペーストする手順が必要になります。
- コピー元のフォルダー://cri/expansion/cri_adx_lipsync/UnrealEngine
- コピー先のフォルダー://cri/UnrealEngine
インストール後は特定のフォルダーにADX LipSync のヘッダ、ライブラリが追加されます。例えば Windows 版ライブラリならば以下の通りです。
- ヘッダ://cri/UnrealEngine/Engine/Plugins/Runtime/CriWare/CriWare/Source/ThirdParty/CriWare/cri/pc/include
- ライブラリ (x64)://cri/UnrealEngine/Engine/Plugins/Runtime/CriWare/CriWare/Source/ThirdParty/CriWare/cri/pc/libs/x64
上記手順が済んだら "//cri/UnrealEngine/Engine/Plugins" を目的の Unreal Engine プロジェクト内に配置してビルドしてください。 これは通常の CRIWARE Unreal Engine Plugin のインストール手順と同じです。 詳細は「 CRIWARE Unreal Engine Plugin のインストール手順 」を参照してください。

口形状情報の生成・取得用クラス

CRIWARE ADX LipSync Plugin をインストールすることで "ULipsAtomAnalyzer" クラスを使用できるようになります。 これは口形状情報の生成・取得のためのクラスです。ユーザはこのクラスからオブジェクトを作成し、UAtomComponentと紐付ける必要があります。 ULipsAtomAnalyzerオブジェクトは、自分に紐付けられたUAtomComponentオブジェクトで再生中の音声を自動的かつリアルタイムに解析し、口形状情報を生成します。 ユーザはULipsAtomAnalyzerオブジェクトのインタフェースを介して口形状情報を取得できます。
UAtomComponent による音声再生方法については、別途「 AtomComponent 」を参照してください。