【分享】deepseek本地部署初体验
看来工作量还是不够饱满啊
kissme (臭薯条酱) 在 ta 的帖子中提到：
上班摸鱼间抽空写的，回头我找找靠谱点的教程整合发一点吧。
这个倒是不太怕，国内宽带提供商很少有给你公网ip的，不做内网穿透根本扫不到你。
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
刚好今天刷到篇文章提到一个安全风险，安装之后本地模型的接口有可能暴露在公网而被别人用◉‿◉
假如组里有服务器，内存管够，但是没有GPU可以部署到服务器的节点上吗，只有CPU的话会不会太慢
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
内存管够的话，可以看看github上面的一个项目，搜索KTransformers，大概需要24g显存和382g内存，还是要至少买一张3090或者两张3060 12g的（我也是偶然间刷到，没有具体了解支不支持多GPU跑）。
Anomal (Segment) 在 ta 的帖子中提到：
假如组里有服务器，内存管够，但是没有GPU可以部署到服务器的节点上吗，只有CPU的话会不会太慢
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
这里给大家推荐几个比较详细和友好的教程，以下教程都建议根据个人情况开倍速观看（大部分下载都需要挂载梯子）。
1.新手小白和核显用户想要简单体验deepseek本地部署，可以试试lm studio，猪王这篇教程就足够了。
【可能是最简单的DeepSeek R1本地运行教程】 https://www.bilibili.com/video/BV1DsNueLE72/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
2.希望更深入学习和使用deepseek本地部署，电脑性能又过得去的，可以参考这个视频进行ollama的本地部署，并且学会使用chatbox来调用本地模型。
【这应该是在本地部署DeepSeek最简单的方法了，普通人用什么Docker，完全不需要！】 https://www.bilibili.com/video/BV1giFTeaEeZ/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
3.如果你和我一样是AMD显卡用户，那么你应该看这篇教程，部署AMD版本的ollama。
【AMD显卡本地部署deepseek吃满显存教程】 https://www.bilibili.com/video/BV1cbPQeSEdA/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
4.有本地知识库使用需求的小伙伴，可以看看这篇视频，通过AnythingLLM来建立你的个人工作区
【4K | 本地部署DeepSeek-R1后，搭建自己的知识库】 https://www.bilibili.com/video/BV1QyFoeuE3e/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
5.还想深入了解如何优化本地模型的，可以参考这位博主的视频，稍微长一些，但是讲得很好。
【DeepSeek R1 推理模型 性能调优 收官之作 完全本地部署 保姆级教程 无惧隐私威胁 使用正确的参数 让你的R1快上2倍】 https://www.bilibili.com/video/BV1qoFGepEhL/?share_source=copy_web&vd_source=73a1f7c038a328565d47a2d3a866001a
以上，如果你都学会了的话，那么相信你也可以自由的在网络资源的海洋里面遨游和搜索学习了，希望这些链接对你有一定的帮助。
感谢！
kissme (臭薯条酱) 在 ta 的帖子中提到：
内存管够的话，可以看看github上面的一个项目，搜索KTransformers，大概需要24g显存和382g内存，还是要至少买一张3090或者两张3060 12g的（我也是偶然间刷到，没有具体了解支不支持多GPU跑）。
我也看到ktransformer这个了
kissme (臭薯条酱) 在 ta 的帖子中提到：
内存管够的话，可以看看github上面的一个项目，搜索KTransformers，大概需要24g显存和382g内存，还是要至少买一张3090或者两张3060 12g的（我也是偶然间刷到，没有具体了解支不支持多GPU跑）。
我是12600kf+32G D5内存+7900xtx，想问下楼主跑32b模型的时候内存占用大概有多少呢？我也是用ollama，显存占满24G的情况下内存还是会吃满，但是生成速度是正常的，在20token/s左右
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
会刚好吃到33G这样子，如果只跑32b，可以考虑48g内存。
brainstorm (火星人) 在 ta 的帖子中提到：
我是12600kf+32G D5内存+7900xtx，想问下楼主跑32b模型的时候内存占用大概有多少呢？我也是用ollama，显存占满24G的情况下内存还是会吃满，但是生成速度是正常的，在20token/s左右
感谢回复！之前我看其他人用q4km的32b量化版本，说只需要19GB显存就可以完全卸载到GPU里，还以为自己跑的时候哪里出错了。看来目前内存是已经爆了
kissme (臭薯条酱) 在 ta 的帖子中提到：
会刚好吃到33G这样子，如果只跑32b，可以考虑48g内存。
ollama models的目录是可以拷贝的
Immo (中远海控在逃股东) 在 ta 的帖子中提到：
想请问下，能否脱网部署？有没有教程？
毕竟ollama run的时候是ollama帮忙下载的，但是不能联网的地方还是不好弄0.0
求问大佬们我台式机 CPU I5 14600KF，48GDDR5内存，4070显卡可以玩本地部署吗？
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
可以啊
zhufengyixue (zhufengyixue) 在 ta 的帖子中提到：
求问大佬们我台式机 CPU I5 14600KF，48GDDR5内存，4070显卡可以玩本地部署吗？
对，俺也刷到了，大家部署的时候小心点。纯玩几下的话，玩完就删了吧。长期使用得小心
https://news.qq.com/rain/a/20250305A080IB00
搜ollama相关新闻就有
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
刚好今天刷到篇文章提到一个安全风险，安装之后本地模型的接口有可能暴露在公网而被别人用◉‿◉
应该够了，14b稳跑，32b也可以用。
选的时候大概是显存多少就选接近的，或者选大一点量化位数低的
zhufengyixue (zhufengyixue) 在 ta 的帖子中提到：
求问大佬们我台式机 CPU I5 14600KF，48GDDR5内存，4070显卡可以玩本地部署吗？
个人体验，1.5b纯史，严重逻辑错误，比如回答不了1+1
7b简单逻辑还行，听个响，思考不够，只有现有数据的罗列
14b日常使用可以了，可以讨论一些哲学问题，或者根据已有知识回答一种可能未提出的新方案。比如问20系列显卡支持到cuda的版本。写着的支持cuda大概7.多，但因为有图灵架构，更新官方驱动后实际可支持到11甚至12。（7b在回答时没有提到这一点）
32b，在14b的基础上反思好了点，我指出他回答不足时，及时改正了，14b认错不积极x
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
看评测不能满血的似乎其他模型效果会更好。
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
Cherry studio有联网搜索功能
kissme (臭薯条酱) 在 ta 的帖子中提到：
其实网上有相当多教程，而且内容都较为简单，这里简单说一下：
在模型方面，部署统一选ollama没什么好说的，点击ollama.com就可以进去下载安装（注意需要翻墙才能访问），然后到cmd直接输入ollama pull deepseek-r1:1.5b，系统会自动开始下载1.5b的模型，也可以根据个人电脑配置选择7b，8b，14b，32b和70b等等更大的模型。
另外还需要选择一个embedding模型来实现知识库功能，这里简单用一个，到ollama官网模型页面找到shaw/dmeta-embedding-zh，复制对应下载代码一样输入到cmd里面下载安装。
……
感谢楼主，顶
kissme (臭薯条酱) 在 ta 的帖子中提到：
鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。
首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。
配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。
……
