可以整一个反向代理，后面接负载均衡就OK了
业务也不复杂，基本上可以整成无状态的
大头都是GPU计算
【 在 finlab 的大作中提到: 】
: 【 以下文字转载自 NewExpress 讨论区 】
: 发信人: shanup (shanup), 信区: NewExpress
: 标  题: chatgpt的server竟然是基于python的
: ...................
--
FROM 111.166.196.*