想搞个机器玩ai

水木社区手机版

主题:想搞个机器玩ai
16楼|lvsoft|2025-02-18 13:00:38|展开
建议是不要搞。直接买token就行了。
即使你能稳定的，24x7的，以上百万token的规模消耗。也依然没有买token划算。

【在 upndown 的大作中提到: 】
: 有什么建议？
--
FROM 222.68.51.*
17楼|lvsoft|2025-02-18 13:04:57|展开
32g的模型，买个jetson xavier只要2k出头，满载功耗30w，跑32B一秒都能有3个token呢。
用自己机器跑这个毫无意义
【在 adhere 的大作中提到: 】
: 当然可以啊，我现在的配置就是4060TI+32G内存，跑32B的慢点，但是我可以忍受，大概是1秒2个字
: 8B的模型，一秒100字
:
--
FROM 222.68.51.*

BYR-Team©2010. KBS Dev-Team©2011 登录完整版