4bit量化精度损失太大，而且你不能只考虑能塞下权重需要多少显存，r1类模型输出长度比较大，很吃kvcahe的 

LYMing (老玉米) 在 ta 的帖子中提到：

可以低成本部署

现在有4090 48g的涡轮卡，2.x万一张随便买

一套epyc的4u 8卡机箱，里面塞上48g x 8就能上deepseek 671b的q4km 

……