facebook的AI模型，有人已经跑通了

水木社区手机版

主题:facebook的AI模型，有人已经跑通了
12楼|tgfbeta|2023-03-22 15:15:52|展开
这叫quantization
能用int8就不用fp16，能用tf32就不用fp32
【在 lyqcchl 的大作中提到: 】
: llama.cpp 确实这个感觉还是挺有前途的.
: 私人/私有化定制
: 如果还能导入私有数据,
: ...................
--
FROM 218.12.19.*
13楼|tgfbeta|2023-03-22 15:17:21|展开
就是intel版的苹果也可以跑
token生成远超过人眼阅读速度
【在 zli07 的大作中提到: 】
: 现在苹果的M1已经能跑得起stable diffusion了,速度还不慢，按说 8gen2 的GPU号称比苹果还强，那岂不起飞了
--
FROM 218.12.19.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版