32g的模型，买个jetson xavier只要2k出头，满载功耗30w，跑32B一秒都能有3个token呢。
用自己机器跑这个毫无意义
【 在 adhere 的大作中提到: 】
: 当然可以啊，我现在的配置就是4060TI+32G内存，跑32B的慢点，但是我可以忍受，大概是1秒2个字
: 8B的模型，一秒100字
:
--
FROM 222.68.51.*