Re: 小白求推荐可以本地部署DEEPSEEK和SD的台式电脑
AMD的显卡不支持CUDA也能流畅运行吗?现在OLLAMA兼容性做的这么好了吗
brainstorm (火星人) 在 ta 的帖子中提到:
自己用AMD 7900xtx(24G显存)+32G内存试着本地部署了几个蒸馏后的小模型,32B能跑,14、8、7B的速度飞起,但也只能娱乐一下,跟在线版本的完全体R1不能比。而且用起来会有各种各样的小Bug,对话长度深度也会受性能限制。如果只是用现有硬件玩玩还可以,要是认真用的话要么搭个多卡集群上完整模型(应该超过了小白考虑的范畴),要么看看国内这些厂商有没有自己部署后开放的api吧。