Groq LPU，运行Mixtral 8x7B 500T/s

水木社区手机版

主题:Groq LPU，运行Mixtral 8x7B 500T/s
楼主|tgfbeta|2024-02-22 17:40:32|只看此ID
前google的tpu团队成员创业的产品
--
FROM 60.24.248.*
1楼|poocp|2024-02-23 16:39:27|只看此ID
Groq一块要将近2万美元，才230MB内存。
想跑Mixtral 8X7B要买100多块，花200万美元。而且只能推理不能训练。
我的RTX 4090一张卡就能跑，慢就慢，也能用。
--
FROM 171.221.52.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版