ADX LipSyncは、音声波形を解析して口形状情報(口パターン)を自動生成するミドルウェアです。
機械学習と信号処理技術を組み合わせて、音声データから自然な口パターンを生成します。
キャラクターを音声に合わせて口パクさせるためには、以下の2通りがあります。

「事前にモーション付けを行う」方法と、
「再生する音声からリアルアイムに口の形状を決定する」方法 ADX LipSyncはこれら両方のケースで利用することができ、口パク品質の向上や作業量の削減に寄与します。

ADX LipSyncの利用形態

ADX LipSyncは、キャラクターの口パクをどのように設定するかに応じて、以下の二通りの利用形態があります。

ADX LipSync Toolsによる事前解析
ADX LipSync Libraryによるリアルタイム解析

ADX LipSync Toolsによる事前解析

コマンドラインツール上で音声ファイルを指定すると、テキスト形式で口パターンデータを出力します。
これをDCCツールに取り込んで編集することで、キャラクターのフェイシャルモーション付けに活用することができます。
事前解析用のツールは本SDKパッケージ内に含まれています。
以下のパスのマニュアルを参照してください。

cri/tools/ADXLipSync/manual/ja/ADX_LipSync_Tool_Manual_ja.html

ADX LipSync Libraryによるリアルタイム解析

ゲーム中で再生した音声をリアルタイムで解析し、口パターンの取得ができます。
音源である CriAtomSource と接続することで、複雑なコーディングなしにモデルの口パクを制御することができます。
本マニュアルでは、主にリアルタイム解析での利用を想定しつつ、ADX LipSyncの利用方法について説明します。

adxlipsync\_library\_flow.png

ADX LipSyncの特徴

音声データの入力から自然な口パターンを自動生成対応

入力された音声データの波形を解析し、自動で最適な口の形を出力します。
また舌の位置や両唇音による口の開閉など、実際の発音に即して再現することが可能です。

2D/3Dモデルの両方に対応

生成した口パターンは様々なモデルデータに組み込みやすい形式で出力されます。
2D/3Dの両方に対応しており、幅広い用途・ジャンルでより豊かなゲーム体験を実現します。

言語に依存しない多言語対応

日本語のみならず、あらゆる言語で口パターンを生成することができます。
あらかじめ各言語の辞書データなどを用意する必要もありません。
複数言語でワールドワイド展開をするタイトルの開発を大幅に効率化します。

幅広い声質に対応

老若男女、さまざまな声質のセリフを解析することができます。
音程の高さ・低さに関わらずあらゆる声質に対応し、口パターンを生成します。