新的 TensorRT 后端
由于 hyln9 的一些出色工作,此版本中有一个新的 TensorRT 后端(“trt8.2”)!在
强大的 NVIDIA GPU 上,此后端的速度通常是任何其他后端的 1.5 倍。然而,它并不是
普遍更快,有时 CUDA 后端仍然可以比 TensorRT 后端更快。两个后端也可能更喜欢不
同数量的线程 - 尝试运行基准测试来查看。TensorRT 也往往需要明显更长的时间来启
动。
使用 TensorRT 需要 NVIDIA GPU 和 CUDA 11.1+ 以及 CUDNN 8.2+ 和 TensorRT 8.2(
此版本中的预编译可执行文件使用 CUDA 11.1 for linux 和 CUDA 11.2 for Windows)
,您可以从 NVIDIA 手动下载和安装:
https://developer。 nvidia.com/tensorrt,h
ttps://developer.nvidia.com/cuda-toolkit,
https://developer.nvidia.com/cudnn。
如果您想要更简单的开箱即用设置和/或正在使用其他 GPU,那么仍然建议使用 OpenCL
作为最容易上手的方式。
【 在 cococap (~~) 的大作中提到: 】
: New TensorRT Backend
: There is a new TensorRT backend ("trt8.2") in this release thanks to some excellent work by hyln9! On strong NVIDIA GPUs, this backend can often be 1.5x the speed of any other backend.
: 发自「今日水木 on iPhone 12 Pro Max」
: ...................
--
FROM 112.47.161.*