可以低成本部署

现在有4090 48g的涡轮卡，2.x万一张随便买

一套epyc的4u 8卡机箱，里面塞上48g x 8就能上deepseek 671b的q4km 

全套下来可以压缩在25w以内

GALENCIAGA (akagi) 在 ta 的帖子中提到：

想要自己推理合法的gpu为H20，最低推理要求2台H20服务器，大约需要200万+