CRI LipSyncプラグインコンポーネントの概要

CRI LipSyncプラグインコンポーネントの全体像

「CRI LipSync V Unity Plug-in」パッケージをプロジェクトにインポートすると、CRI LipSyncコンポーネントを利用できるようになります。
以下のコンポーネントたちを利用すれば、スクリプトによる実装を行わなくてもリップシンク機能を簡単に実現することができます。

• CriLipsSampler
• CriLipsAnalyzer
• CriLipsDeformer
  

Unity 上での具体的な実装方法は「 もっともシンプルなマイク入力サンプル 」をご確認ください。
各コンポーネントの役割と、それぞれがどのように接続するかの概要を以下の図に示します。

• CriLipsSamplerは様々なソースから音声サンプルデータを収集します。
• CriLipsAnalyzerはSamplerから得た音声サンプルデータを元に、リップシンクの解析処理を行います。
• CriLipsDeformerはAnalyzerから得た解析結果であるリップシンクデータを元に、制御対象のモデルを変形させます。

解析対象となる音声データ

プラグインの標準機能として、以下のような音声データのソースをサポートしています。

• 端末に接続されたマイクデバイス
• AudioSource(Unity標準の音源コンポーネント)
• CriAtomSource(ADXの音源コンポーネント)

また、CriLipsSamplerやCriLipsAnalyzerを独自に実装することで、上記以外のソースに対して解析を行うことも可能です。