- 主题:训练好的transformer模型普通电脑上跑不起来。
模型在gpu上训练完了，拿到一台没有gpu的普通台式机上，压根跑不动。
--
FROM 42.185.36.*
看数据量和模型大小了，跑个几百上千条的还可以，qps啥的就不用指望了
--
FROM 111.206.214.*
原来想训练好的模型放到普通电脑里跑，看来有点难。
【 在 mopo 的大作中提到: 】
: 看数据量和模型大小了，跑个几百上千条的还可以，qps啥的就不用指望了
--
FROM 42.185.36.*
推断比训练的要求稍微低点，但基本还是一个量级的，主要还是现在的模型普遍越来越大，层级参数太多，cpu这点可怜的并发度太孱弱了
【 在 floatinsea 的大作中提到: 】
: 原来想训练好的模型放到普通电脑里跑，看来有点难。
--
FROM 111.206.214.*