鉴于我喜欢装电脑，而工作上也有使用deepseek的需求，就研究了几天，在家自己本地部署了deepseek r1的蒸馏模型，分享一下以供参考。

首先是我的配置，CPU是amd的7700，内存是64g的ddr5 6200mhz内存，硬盘是三星的980Pro 2tb，显卡是7900xtx 24GB。

配置的方法使用了ollama（amd版本需要额外到github下载，并替换部分文件），当然lm studio也是可以的（我在笔记本上面就是用lm studio，好处是更多的模型选择，可以使用核显加速，并且不用挂梯子），分别尝试了ollama官网上提供的14b，32b和70b三个模型。

从运算速度来看，14b极快，可以到200tps上下，32b也比较快，20tps足够日常使用，70b则稍慢，只有2-3tps，如果是对效率要求不高，可以慢慢等，那也可以接受。

另外从使用体验来看，我主要是政务材料的处理，32b的效果居然比70b的效果略好一些，可能是蒸馏的基底不同。

最后就是知识库的构建，我试图把一些以前的材料传进去作为检索和参考，用了网页助手和cherry studio两个方式，本质上都是RAG，不过效果都不是很好，可能还需要再调整，也可能是我用的嵌入模型不太适合，以后会有更多的尝试，也欢迎大家积极讨论。