这个改进应该是靠谱的。
tensorRT一直有，仅仅是围棋界的人不知道用。

zz
TensorRT下的模型是在做什么？

TensorRT只负责模型的推理（inference）过程，一般不用TensorRT来训练模型的哈。

TensorRT能加速模型吗？

能！根据官方文档，使用TensorRT，在CPU或者GPU模式下其可提供10X乃至100X的加速。
本人的实际经验中，TensorRT提供了20X的加速。

TensorRT为什么能提升模型的运行速度？

TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升
模型的运行速度。

TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数
据。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。

TensorRT对于网络结构进行了重构，把一些能够合并的运算合并在了一起，针对GPU的特
性做了优化。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU
的生产者和搬运工，自然就推出了针对自己GPU的加速工具TensorRT。一个深度学习模型
，在没有优化的情况下，比如一个卷积层、一个偏置层和一个reload层，这三层是需要
调用三次cuDNN对应的API，但实际上这三层的实现完全是可以合并到一起的，TensorRT
会对一些可以合并网络进行合并。我们通过一个典型的inception block来看一看这样的
合并运算。

【 在 cococap (~~) 的大作中提到: 】
: 60b应该更好用了
: 发自「今日水木 on iPhone 12 Pro Max」
--
修改:zszqzzzf FROM 112.47.161.*
FROM 112.47.161.*