ADX LipSyncとは？

: ADX LipSyncは、音声波形を解析して口形状情報(口パターン)を自動生成するミドルウェアです。
機械学習と信号処理技術を組み合わせて、音声データから自然な口パターンを生成します。

: キャラクターを音声に合わせて口パクさせるためには、「事前にモーション付けを行う」方法と、
「再生する音声からリアルアイムに口の形状を決定する」方法の二通りがあります。
ADX LipSyncはこれら両方のケースで利用することができ、口パク品質の向上や作業量の削減に寄与します。

ADX LipSyncの利用形態

ADX LipSyncは、キャラクターの口パクをどのように設定するかに応じて、以下の二通りの
利用形態があります。

ADX LipSync Toolsによる事前解析
ADX LipSync Libraryによるリアルタイム解析

: 「ADX LipSync Toolsによる事前解析」では、コマンドラインツールに音声ファイルを
入力すると、テキスト形式で口パターンデータを出力します。
これをDCCツールに取り込んで編集することで、キャラクターのフェイシャルモーション付けに
活用することができます。
事前解析用のツールは本SDKパッケージ内に含まれています。
以下のパスのマニュアルを参照してください。
cri/tools/ADXLipSync/manual/ja/ADX_LipSync_Tool_Manual_ja.html

: 「ADX LipSync Libraryによるリアルタイム解析」では、ゲーム中で再生した音声を
リアルタイムで解析し、口パターンの取得が可能です。
音源である CriAtomSource と接続することで、複雑なコーディングなしにモデルの口パクを制御
することができます。

本マニュアルでは、主にリアルタイム解析での利用を想定しつつ、ADX LipSyncの利用方法について説明します。

リアルタイム解析の概念図

ADX LipSyncの特徴

音声データの入力から自然な口パターンを自動生成対応

: 入力された音声データの波形を解析し、自動で最適な口の形を出力します。
また舌の位置や両唇音による口の開閉など、実際の発音に即して再現することが可能です。

2D/3Dモデルの両方に対応

: 生成した口パターンは様々なモデルデータに組み込みやすい形式で出力されます。
2D/3Dの両方に対応しており、幅広い用途・ジャンルでより豊かなゲーム体験を実現します。

言語に依存しない多言語対応

: 日本語のみならず、あらゆる言語で口パターンを生成することができます。
あらかじめ各言語の辞書データなどを用意する必要もありません。
複数言語でワールドワイド展開をするタイトルの開発を大幅に効率化します。

幅広い声質に対応

: 老若男女、さまざまな声質のセリフを解析することができます。
音程の高さ・低さに関わらずあらゆる声質に対応し、口パターンを生成します。