【 以下文字转载自 ITExpress 讨论区 】
发信人: tgfbeta (右旋肉碱), 信区: ITExpress
标  题: 利用单个GPU跑大规模语言模型
发信站: 水木社区 (Tue Feb 21 13:58:23 2023), 站内

https://github.com/Ying1123/FlexGen

通过压缩、存取优化，能让大规模语言模型跑在3090之类的显卡上
--
FROM 125.38.177.*