利用外部推理设备实现高速推理(Windows)
本工具在指定 -use_external_device 且外部推理设备可用的环境下运行时,
可以将部分分析过程从 CPU 切换为外部推理设备。
在 Windows 环境下,外部推理设备支持使用 NVIDIA 的 CUDA 实现高速推理。
使用 CUDA 需安装 CUDA v11.8 和 cuDNN v8.x。
此外,必须将包含cudnn64_8.dll的目录(如C:\tools\cuda\bin)添加到环境变量路径中。
更多详细安装方法请参阅 NVIDIA 官方文档 CUDA Installation Guide for Microsoft Windows。