【分享】deepseek本地部署初体验
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
从运算速度来看，14b极快，可以到200tps上下，32b也比较快，20tps足够日常使用，70b则稍慢，只有2-3tps，如果是对效率要求不高，可以慢慢等，那也可以接受。
另外从使用体验来看，我主要是政务材料的处理，32b的效果居然比70b的效果略好一些，可能是蒸馏的基底不同。
最后就是知识库的构建，我试图把一些以前的材料传进去作为检索和参考，用了网页助手和cherry studio两个方式，本质上都是RAG，不过效果都不是很好，可能还需要再调整，也可能是我用的嵌入模型不太适合，以后会有更多的尝试，也欢迎大家积极讨论。
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
这里给大家推荐几个比较详细和友好的教程，以下教程都建议根据个人情况开倍速观看（大部分下载都需要挂载梯子）。
1.新手小白和核显用户想要简单体验deepseek本地部署，可以试试lm studio，猪王这篇教程就足够了。
【可能是最简单的DeepSeek R1本地运行教程】 https://www.bilibili.com/video/BV1DsNueLE72/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
2.希望更深入学习和使用deepseek本地部署，电脑性能又过得去的，可以参考这个视频进行ollama的本地部署，并且学会使用chatbox来调用本地模型。
【这应该是在本地部署DeepSeek最简单的方法了，普通人用什么Docker，完全不需要！】 https://www.bilibili.com/video/BV1giFTeaEeZ/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
3.如果你和我一样是AMD显卡用户，那么你应该看这篇教程，部署AMD版本的ollama。
【AMD显卡本地部署deepseek吃满显存教程】 https://www.bilibili.com/video/BV1cbPQeSEdA/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
4.有本地知识库使用需求的小伙伴，可以看看这篇视频，通过AnythingLLM来建立你的个人工作区
【4K | 本地部署DeepSeek-R1后，搭建自己的知识库】 https://www.bilibili.com/video/BV1QyFoeuE3e/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
5.还想深入了解如何优化本地模型的，可以参考这位博主的视频，稍微长一些，但是讲得很好。
【DeepSeek R1 推理模型 性能调优 收官之作 完全本地部署 保姆级教程 无惧隐私威胁 使用正确的参数 让你的R1快上2倍】 https://www.bilibili.com/video/BV1qoFGepEhL/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
以上，如果你都学会了的话，那么相信你也可以自由的在网络资源的海洋里面遨游和搜索学习了，希望这些链接对你有一定的帮助。
14B的是不是效果不太行？
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
想请问下，能否脱网部署？有没有教程？
毕竟ollama run的时候是ollama帮忙下载的，但是不能联网的地方还是不好弄0.0
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
emmm，不联网咋下载呢，部署好之后倒是可以不联网使用。
或许可以把模型下载到其他电脑上，然后拷贝过去，但我没试过，models的文件夹默认在你用户下面的文件夹里.ollama里面，而ollama本身你只要搞个安装包拷贝进去就能装上。
Immo (中远海控在逃股东) 在 ta 的帖子中提到：
想请问下，能否脱网部署？有没有教程？
毕竟ollama run的时候是ollama帮忙下载的，但是不能联网的地方还是不好弄0.0
32b是qwen，70b是llama，llama没有对中文的支持，r1提供的蒸馏数据多在逻辑数学和代码，32b更好不意外
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
我们单位也部署了，不像网页版那样总是服务停止感觉好多了，这个模型的推理能力真是强，感觉越来越像人的感觉了，估计“底特律变人”的未来真不遥远了
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
赶紧研究，就等着你这个部署好了造福大众
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
请教硬件配置花了多少银子？
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
用户目录下有模型，你把用户目录下的模型看进去就行了。你百度一下ollama的模型安装位置。我离线部署已经成功
Immo (中远海控在逃股东) 在 ta 的帖子中提到：
想请问下，能否脱网部署？有没有教程？
毕竟ollama run的时候是ollama帮忙下载的，但是不能联网的地方还是不好弄0.0
领导觉得不确定是不是完全国产，不让部署到内部系统
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
目前7700价格在1200左右，配套主板1000元上下，2t的tlc固态（比如铠侠）在700元，64g的ddr5价格大概是1300元，而7900xtx这张显卡价格在6000元上下，其余的配件就都比较便宜了，预计1500元以内可以拿下电源散热机箱，简单算一下，1200+1000+700+1300+6000+1500=11700，根据个人具体需求，会有一些上下浮动。
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：
请教硬件配置花了多少银子？
配置低一点的台式机能布吗，靠谱的教程求分享
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
其实网上有相当多教程，而且内容都较为简单，这里简单说一下：
在模型方面，部署统一选ollama没什么好说的，点击ollama.com就可以进去下载安装（注意需要翻墙才能访问），然后到cmd直接输入ollama pull deepseek-r1:1.5b，系统会自动开始下载1.5b的模型，也可以根据个人电脑配置选择7b，8b，14b，32b和70b等等更大的模型。
另外还需要选择一个embedding模型来实现知识库功能，这里简单用一个，到ollama官网模型页面找到shaw/dmeta-embedding-zh，复制对应下载代码一样输入到cmd里面下载安装。
部署好ollama之后，可以用chrome和火狐的页面拓展程序page assist来直接访问，页面助手的优点是可以联网访问，也可以构建属于你自己的知识库。
另外还可以用不同的ai模型管理平台来调用ollama的模型，我个人用过的几个分别是anything llm，Cherry studio，chatbox，好像都没有联网搜索功能，但是也有知识库功能，并且可以管理更多本地模型和调用API，个人用下来，Cherry studio报错概率高一些，而anything llm在知识库功能上更加适配。
以上是ollama部署的简单流程，如果是电脑配置较低，没有独立显卡，也没法翻墙，还觉得流程繁琐的，可以考虑LM studio，直接进入lmstudio.ai进行下载安装，缺点是不能联网和构建本地知识库，优点是可以调用核显加速，操作非常简单，适合想要初体验的用户，甚至笔吧评测室的猪王都出了一个简单的教程。
loutre (打工鹅) 在 ta 的帖子中提到：
赶紧研究，就等着你这个部署好了造福大众
这下AMD真香了，我用的4080只有16G显存，跑32b速度就非常非常慢，只能跑14b玩
顺便也推荐试试open-webui，网页服务基本复刻chatgpt，通过pip安装或者docker容器运行
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
看不懂，我觉得你直接远程给整一个更好doge
kissme (臭薯条酱) 在 ta 的帖子中提到：
其实网上有相当多教程，而且内容都较为简单，这里简单说一下：
在模型方面，部署统一选ollama没什么好说的，点击ollama.com就可以进去下载安装（注意需要翻墙才能访问），然后到cmd直接输入ollama pull deepseek-r1:1.5b，系统会自动开始下载1.5b的模型，也可以根据个人电脑配置选择7b，8b，14b，32b和70b等等更大的模型。
另外还需要选择一个embedding模型来实现知识库功能，这里简单用一个，到ollama官网模型页面找到shaw/dmeta-embedding-zh，复制对应下载代码一样输入到cmd里面下载安装。
……
上班摸鱼间抽空写的🥲，回头我找找靠谱点的教程整合发一点吧。
loutre (打工鹅) 在 ta 的帖子中提到：
看不懂，我觉得你直接远程给整一个更好doge
蹲一个小白教程
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
64G 内存放 70B 模型紧张吗
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
刚好今天刷到篇文章提到一个安全风险，安装之后本地模型的接口有可能暴露在公网而被别人用◉‿◉
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
