跳到主要内容

利用外部推理设备实现高速推理(Windows)

本工具在指定 -use_external_device 且外部推理设备可用的环境下运行时,
可以将部分分析过程从 CPU 切换为外部推理设备。

在 Windows 环境下,外部推理设备支持使用 NVIDIA 的 CUDA 实现高速推理。
使用 CUDA 需安装 CUDA v11.8cuDNN v8.x

此外,必须将包含cudnn64_8.dll的目录(如C:\tools\cuda\bin)添加到环境变量路径中。

更多详细安装方法请参阅 NVIDIA 官方文档 CUDA Installation Guide for Microsoft Windows