Re: 【分享】deepseek本地部署初体验
[复制链接] 浏览该主题帖
<ASCIIArt>
#44048
我是12600kf+32G D5内存+7900xtx,想问下楼主跑32b模型的时候内存占用大概有多少呢?我也是用ollama,显存占满24G的情况下内存还是会吃满,但是生成速度是正常的,在20token/s左右
kissme (臭薯条酱) 在 ta 的帖子中提到:
鉴于我喜欢装电脑,而工作上也有使用deepseek的需求,就研究了几天,在家自己本地部署了deepseek r1的蒸馏模型,分享一下以供参考。
首先是我的配置,CPU是amd的7700,内存是64g的ddr5 6200mhz内存,硬盘是三星的980Pro 2tb,显卡是7900xtx 24GB。
配置的方法使用了ollama(amd版本需要额外到github下载,并替换部分文件),当然lm studio也是可以的(我在笔记本上面就是用lm studio,好处是更多的模型选择,可以使用核显加速,并且不用挂梯子),分别尝试了ollama官网上提供的14b,32b和70b三个模型。
……
