什么是ADX LipSync？

: ADX LipSync是通过解析音频波形，自动创建口形数据（嘴形）的中间件。
结合机器学习和信号处理技术，从音频数据创建自然的嘴形。

: 需要为角色与音频同步对口型时，有以下两种方法:“预先添加动作”和
“从播放音频实时决定口形”。
在这两种情况下您都可以使用ADX LipSync，以减少您的工作量和改善口形质量。

ADX LipSync的使用形式

ADX LipSync可以根据不同情况设置不同的角色口形，
其使用形式有以下两种。

使用ADX LipSync工具进行预先解析
使用ADX LipSync库进行实时解析

: “使用ADX LipSync工具进行预先解析”在命令行工具输入音频文件后
将以文本格式输出口形数据。
导入至DCC工具后编辑，可以使用于为角色
加添面部动作。
预先解析用的工具包含在此SDK包中。
请参照以下路径的手册。
cri/tools/ADXLipSync/manual/cn/ADX_LipSync_Tool_Manual_cn.html

: “使用ADX LipSync库进行实时解析”可以将在游戏中已播放的音频
实时解析以获取其口形。
通过连接到CriAtomSource声源，无需进行复杂的编码
也可以控制模型的口形。

本手册主要假定为实时解析，并介绍如何使用ADX LipSync。

实时解析的概念图

Tips

ADX LipSync的功能

Release Note

ADX LipSync的特点

从输入音頻数据支持自动創建自然嘴型

: 解析已输入的音频数据的波形，自动输出最合适的口形。
此外，可以因应实际的发声还原，例如舌头位置和含有双唇音的开合嘴巴等。

支持2D/3D模型

: 创建的口形方便输出植入各种模型数据的格式。
同时支持2D/3D，通过广泛用途或种类，实现更丰富的游戏体验。

支持多语言

: 不仅是日语，任何语言都可以使用ADX LipSync创建口形。
再也无需事先为每种语言准备其字典数据。
大大减低您的游戏为进军全球市场所需的多语言开发时间。

支持不同声质

: 可以解析任何男女老幼配音的声质。
不论音高的高低，支持各式各样声质，可以创建不同的口形。

功能的详细信息和其限制事项

口形解析的详情信息

(1)

: Lips运行时库将在与Atom的波形滤波器回调（criAtomExPlayer_SetFilterCallback() 等）相当的时间进行解析。
上述操作使用 CriWare.CriLipsAtomAnalyzer.AttachToAtomExPlayer 等于插件库内部执行。
以上无需用户侧执行任何操作，
但因使用中的功能的影响，会存在某些限制事项。

(2)

通过Lips运行时库获取的信息分別由独立的解析器（神经网络）进行音频解析。

因此，通过组合以上的值，可以实现更高级的唇音同步效果。
例如，可以使用其中一个解析结果来补充另一个解析结果。

(3)

即使要播放的声音不是日文（例如需要播放英文或中文），也可以使用 CriWare.CriLipsMouth.MorphTargetBlendAmountAsJapanese 。
从Lips运行时库获取的解析结果的格式是为了迎合其应用目标的角色模型的表现形式，故其意义不在于限制输入语音的内容。
但请注意，仅存在于英文中的音素形状则无法使用 CriWare.CriLipsMouth.MorphTargetBlendAmountAsJapanese 来表现。
如果使用Lips来解析英文语音后使用日语五元音进行解析时，则可以以日语五元音的口型表现有如英文的发声。

如果需要确认此表现是否可以接受，建议使用测试数据等在应用程序中实际确认其运行效果是否符合预期。
关于从Lips运行时库获取的各解析结果的详细信息，请参照以下页面。

可以在ADX LipSync获取的口形信息

限制事项

注意

使用运行时库时，需要注意以下事项。

使用HCA-MX或平台专用的音频压缩编解码器时，则无法使用 CriWare.CriLipsAtomAnalyzer.AttachToAtomExPlayer 。
- 使用时，将始终获取类似于静音状态的信息
- 原因是上述波形滤波器回调不会被调用，因此无法进行解析
仅对放置于Cue中的音轨的开头波形作解析对象
- 放置了多个音轨时，仅解析开头的波形
在Lips的解析时，将忽略设置于Cue中的参数
- 音量或音高移调等的信息将被忽略