感谢回复！之前我看其他人用q4km的32b量化版本，说只需要19GB显存就可以完全卸载到GPU里，还以为自己跑的时候哪里出错了。看来目前内存是已经爆了

kissme (臭薯条酱) 在 ta 的帖子中提到：

会刚好吃到33G这样子，如果只跑32b，可以考虑48g内存。