也是

最好还是大家各自还是用api，有赠费，没多贵

比如官方的和硅基流动的

私有化部署成本都不低

替代的廉价方案是scnet.cn用昇腾GPU， 64GB * 7 云服务器，只要7元/小时，kv cache也4b量化，能放多一些

一样存在量化损失精度问题

啥时候能有廉价的NVL72啊，那样就不用扣来扣去了。。

GALENCIAGA (akagi) 在 ta 的帖子中提到：

4bit量化精度损失太大，而且你不能只考虑能塞下权重需要多少显存，r1类模型输出长度比较大，很吃kvcahe的