ADX LipSync とは

ADX LipSyncは、音声波形を解析して口形状情報(口パターン)を自動生成するミドルウェアです。
機械学習と信号処理技術を組み合わせて、音声データから自然な口パターンを生成します。

ADX LipSync の構成要素

ADX LipSync は、現在のところ以下の製品群から構成されます。

• ADX LipSync Tools
• ADX LipSync Library

キャラクターを音声に合わせて口パクさせるためには、「事前にモーション付けを行う」方法と、
「再生する音声からリアルアイムに口の形状を決定する」方法の二通りがあります。
前者の方法を実現する製品が ADX LipSync Tools です。後者の方法を実現する製品は ADX LipSync Library です。
本ドキュメントでは、ADX LipSync Tools について説明します。

ADX LipSync Tools とは

入力した音声データファイルから口パターンデータを生成するためのツール群を ADX LipSync Tools と呼びます。 ADX LipSync Toolsは、現在のところ以下の製品群から構成されます。

• CriLipsMake

リアルタイムな口パターン解析を行う ADX LipSync Library と異なり、本ツール群は事前解析を目的としています。

CriLipsMake とは

CriLipsMake はコンソールツール (コマンドラインツール) です。 .wav などの音声ファイルを入力すると、テキスト形式で口パターンデータファイル(.adxlip)を出力します。

• [参照] DCC ツール連携について
  
  

  ADX LipSync Tools フロー図
  
  

テキストファイル内の情報を Maya などの Digital Content Creation ツール (以下、DCC ツール) に取り込んで、 フェイシャルアーティストが編集するキャラクターの表情アニメーションのプロトタイプとして使用することが可能です。 ADX LipSync の解析技術による高品質な口パターンデータを土台とすることで、アーティストは高品質なアニメーションをより低コストに作成することが可能です。
CriLipsMake の使い方は下記のページを参照してください。

• [参照] CriLipsMake の使い方