ADX LipSyncに適したフェイシャルの口形状

本節では、ADX LipSyncを用いてキャラクターを魅力的に動かすため、出力する口パターンに
適したフェイシャルの構成について解説します。

フェイシャルの口形状はブレンドシェイプなどを利用して用意します。
ADX LipSyncを用いた口形状の制御では、縦横形状組み合わせ、日本語5母音組み合わせによる制御が可能です。
舌の動きも取得できるため、別途用意しておくと発話のリアリティが増します。

以下では、SDK サンプル「 [CriAtom]LipSyncプラグインを使用したリップシンク 」で利用しているモデルをベースに、
それぞれのブレンドシェイプに対する口形状について解説します。

縦横形状組み合わせ

口の縦、横の開きを足し合わせて口の形状を表現します。
縦開き、横開きのブレンドシェイプを両方同時に最大としたとき、口の開きが破綻しやすい問題があります。
基本的に縦横両方が最大になることはほとんどないため、破綻は割り切って作った方が
通常の口の動きにメリハリが出せます。
また、無発音状態の口形状に対して、「う」の発音では横幅が小さくなるため、
「横に開く」ブレンドシェイプと「横に閉じる(すぼめる)」ブレンドシェイプを個別に用意して
制御すると表現に幅が出せます。

サンプルモデルでは、「縦開き」「横開き」「横閉じ」の三種類のブレンドシェイプを用意しています。

縦開きブレンドシェイプ(0.0f～1.0f)

横開きブレンドシェイプ(0.0f～1.0f)

横閉じブレンドシェイプ(0.0f～1.0f)

日本語5母音組み合わせ

日本語の母音となる「あ」「い」「う」「え」「お」に対応する口形状を用意して表現します。
言葉をしゃべらせるには一般的な口形状セットです。
母音のブレンド量出力は、最大で二つまで同時に出力され、かつ合計で1.0f以下になります。
複数同時に最大のブレンド量になるような動き方はしないため、破綻が少なく扱いやすい組み合わせです。

サンプルモデルでの各母音に対応した口形状は以下のようになっています。

「あ」ブレンドシェイプ(0.0f～1.0f)

「い」ブレンドシェイプ(0.0f～1.0f)

「う」ブレンドシェイプ(0.0f～1.0f)

「え」ブレンドシェイプ(0.0f～1.0f)

「お」ブレンドシェイプ(0.0f～1.0f)

舌の動き

舌の位置が通常状態から、上に持ち上げて歯茎にくっついた形状を用意します。
これにより、口の中の舌の動きを再現する事ができます。

サンプルモデルでのブレンドシェイプによる舌の動きは以下のようになっています。

舌位置ブレンドシェイプ(0.0f～1.0f)

Next:プラグインコンポーネントを用いたリアルタイム口パク制御