【分享】deepseek本地部署初体验 - 桌面电脑(Computer)版 - 北大未名BBS
返回本版
< 上一页
1
2
3
/ 3
跳转

【分享】deepseek本地部署初体验

[复制链接]
楼主

kissme [离线]

臭薯条酱

4.9昆吾

发帖数:7443 原创分:6
<只看ta> <ASCIIArt>
41楼

目前qwq-32b效果应该是最好的

glsxwyyz (岚山) 在 ta 的帖子中提到:

看评测不能满血的似乎其他模型效果会更好。

发表于2025-03-17 11:14:47

wzzzl [离线]

Fhghbnj

3.1扬州炒饭

发帖数:270 原创分:0
<只看ta> <ASCIIArt>
42楼

tql楼主,请问下仅仅是政务公文材料需求的话,多少b的效果最好呢?以及对应的最低配置有推荐么orz

kissme (臭薯条酱) 在 ta 的帖子中提到:

鉴于我喜欢装电脑,而工作上也有使用deepseek的需求,就研究了几天,在家自己本地部署了deepseek r1的蒸馏模型,分享一下以供参考。

首先是我的配置,CPU是amd的7700,内存是64g的ddr5 6200mhz内存,硬盘是三星的980Pro 2tb,显卡是7900xtx 24GB。

配置的方法使用了ollama(amd版本需要额外到github下载,并替换部分文件),当然lm studio也是可以的(我在笔记本上面就是用lm studio,好处是更多的模型选择,可以使用核显加速,并且不用挂梯子),分别尝试了ollama官网上提供的14b,32b和70b三个模型。

……

发表于2025-03-17 15:20:44
楼主

kissme [离线]

臭薯条酱

4.9昆吾

发帖数:7443 原创分:6
<只看ta> <ASCIIArt>
43楼

感觉现在各家模型的能力都上来了,本地部署可以看看qwq-32b,最低一张2080ti吧

wzzzl (Fhghbnj) 在 ta 的帖子中提到:

tql楼主,请问下仅仅是政务公文材料需求的话,多少b的效果最好呢?以及对应的最低配置有推荐么orz

发表于2025-03-17 16:55:52

petibunt [离线]

🎺萧因

2.3一般站友

发帖数:45 原创分:0
<只看ta> <ASCIIArt>
44楼

mark 正想部署

kissme (臭薯条酱) 在 ta 的帖子中提到:

鉴于我喜欢装电脑,而工作上也有使用deepseek的需求,就研究了几天,在家自己本地部署了deepseek r1的蒸馏模型,分享一下以供参考。

首先是我的配置,CPU是amd的7700,内存是64g的ddr5 6200mhz内存,硬盘是三星的980Pro 2tb,显卡是7900xtx 24GB。

配置的方法使用了ollama(amd版本需要额外到github下载,并替换部分文件),当然lm studio也是可以的(我在笔记本上面就是用lm studio,好处是更多的模型选择,可以使用核显加速,并且不用挂梯子),分别尝试了ollama官网上提供的14b,32b和70b三个模型。

……

发表于2025-03-18 17:01:52
返回本版
< 上一页
1
2
3
/ 3
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入