水木社区手机版
- 主题:对trt的启动的加速需求
- 目前trt是好，但是启动太慢。
如果可以对最近启动的数据进行缓存，从缓存里读取，而不是重新解码等等，应该可以去除这开始的一分多钟。
--
FROM 112.47.161.* - 现在如何了？新版的Lizzie在这方面又改进吗
【 在 zszqzzzf 的大作中提到: 】
: 目前trt是好，但是启动太慢。
: 如果可以对最近启动的数据进行缓存，从缓存里读取，而不是重新解码等等，应该可以去除这开始的一分多钟。
--
FROM 114.240.247.* - 我没更新。
【 在 AlexandriaI 的大作中提到: 】
: 现在如何了？新版的Lizzie在这方面又改进吗
--
FROM 112.47.159.* - 请问 3090跑TRT60b权重，空棋盘多少v/s?
【 在 zszqzzzf 的大作中提到: 】
: 我没更新。
--
修改:AlexandriaI FROM 114.240.247.*
FROM 114.240.247.* - 7k-9k/s
【 在 AlexandriaI 的大作中提到: 】
: 请问 3090跑TRT60b权重，空棋盘多少v/s?
--
FROM 112.47.159.* - 不错哦
我家柴犬3080ti
19路空盘跑40b 2-5k
60b只有1.x k
太拉垮了
【 在 zszqzzzf (炼狱天使——反者道之动) 的大作中提到: 】
: 发信人: zszqzzzf (炼狱天使——反者道之动), 信区: Weiqi
: 标 题: Re: 对trt的启动的加速需求
: 发信站: 水木社区 (Wed May 25 09:37:19 2022), 转信
:
--
FROM 114.254.2.* - 要升级到111版。
110版慢。
【 在 AlexandriaI 的大作中提到: 】
: 不错哦
: 我家柴犬3080ti
: 19路空盘跑40b 2-5k
: ...................
--
FROM 112.47.159.* - cuda吗？查了下，是当前是11.4.136
【 在 zszqzzzf 的大作中提到: 】
: 要升级到111版。
: 110版慢。
:
--
FROM 114.240.247.* - ......
你是没读懂天使哥在讲什么
【 在 AlexandriaI 的大作中提到: 】
: cuda吗？查了下，是当前是11.4.136
: [upload=1][/upload]
--
FROM 39.171.200.* - katago111
【 在 AlexandriaI 的大作中提到: 】
: cuda吗？查了下，是当前是11.4.136
: [upload=1][/upload]
--
FROM 112.47.159.*