Re: 【分享】deepseek本地部署初体验 - 桌面电脑(Computer)版 - 北大未名BBS

Re: 【分享】deepseek本地部署初体验

[复制链接] 浏览该主题帖

Yosef [离线]

Yosef

该用户不存在
<ASCIIArt> #44106

个人体验,1.5b纯史,严重逻辑错误,比如回答不了1+1

7b简单逻辑还行,听个响,思考不够,只有现有数据的罗列

14b日常使用可以了,可以讨论一些哲学问题,或者根据已有知识回答一种可能未提出的新方案。比如问20系列显卡支持到cuda的版本。写着的支持cuda大概7.多,但因为有图灵架构,更新官方驱动后实际可支持到11甚至12。(7b在回答时没有提到这一点)

32b,在14b的基础上反思好了点,我指出他回答不足时,及时改正了,14b认错不积极x

kissme (臭薯条酱) 在 ta 的帖子中提到:

鉴于我喜欢装电脑,而工作上也有使用deepseek的需求,就研究了几天,在家自己本地部署了deepseek r1的蒸馏模型,分享一下以供参考。

首先是我的配置,CPU是amd的7700,内存是64g的ddr5 6200mhz内存,硬盘是三星的980Pro 2tb,显卡是7900xtx 24GB。

配置的方法使用了ollama(amd版本需要额外到github下载,并替换部分文件),当然lm studio也是可以的(我在笔记本上面就是用lm studio,好处是更多的模型选择,可以使用核显加速,并且不用挂梯子),分别尝试了ollama官网上提供的14b,32b和70b三个模型。

……

发表于2025-03-17 03:27:00

请您先 登录 再进行发帖

快捷回帖
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入