kimi找文献的确是把好手，润色就比不上o1了

主要是想要天马行空的R1给点灵感写东西。。。

mrzack (编程诛心) 在 ta 的帖子中提到：

先用kimi代替呗，kimi跑大多数任务都没问题，比不过ds但是比你本机还是强多了

除非安全原因，个人部署其实不太经济，买一个16G内存条就得二百多块，还不如用硅基流动这样的api，二百多用一年也够了

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：

内存32G，硬盘2T，

其他的求推荐个配置

自己组装是不是比买品牌的划算一些？

大模型从业者表示没必要自己本地部署，小参数模型（和什么4bit 2bit量化的模型）没有什么生产力可言。除非说你学习和动手能力极强，自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧，省时省力。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：

内存32G，硬盘2T，

其他的求推荐个配置

自己组装是不是比买品牌的划算一些？

欸，想问一下，如果是要调到胜任专属任务的程度，大概需要什么样的模型基础啊，不知道可行性如何？本人纯小白

GALENCIAGA (akagi) 在 ta 的帖子中提到：

大模型从业者表示没必要自己本地部署，小参数模型（和什么4bit 2bit量化的模型）没有什么生产力可言。除非说你学习和动手能力极强，自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧，省时省力。

我理解，用某个数据集调试模型参数，这是自己训练参数的意思，你会自己训练大模型吗？不会的话估计难以胜任

Kale (Kale) 在 ta 的帖子中提到：

欸，想问一下，如果是要调到胜任专属任务的程度，大概需要什么样的模型基础啊，不知道可行性如何？本人纯小白

不吃cuda的话，为什么不用A卡？

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：

内存32G，硬盘2T，

其他的求推荐个配置

自己组装是不是比买品牌的划算一些？

主要是被GPT比的

最近GPT天天说O1限额用完了要我开Pro，一个月上贡一条内存他还嫌不够

xiaohu (popo) 在 ta 的帖子中提到：

除非安全原因，个人部署其实不太经济，买一个16G内存条就得二百多块，还不如用硅基流动这样的api，二百多用一年也够了

自己用AMD 7900xtx（24G显存）+32G内存试着本地部署了几个蒸馏后的小模型，32B能跑，14、8、7B的速度飞起，但也只能娱乐一下，跟在线版本的完全体R1不能比。而且用起来会有各种各样的小Bug，对话长度深度也会受性能限制。如果只是用现有硬件玩玩还可以，要是认真用的话要么搭个多卡集群上完整模型（应该超过了小白考虑的范畴），要么看看国内这些厂商有没有自己部署后开放的api吧。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：

内存32G，硬盘2T，

其他的求推荐个配置

自己组装是不是比买品牌的划算一些？

还真是，跑r1 7b看着intel核显一点没用，内存占用快拉满了。

sunshines (ECO07) 在 ta 的帖子中提到：

你这核显好歹还被认为是显卡，intel核显直接被忽视，直接走内存

不过没有独显的话据说苹果的核显比较快，如果不是高强度使用不如直接用在线的

AMD的显卡不支持CUDA也能流畅运行吗？现在OLLAMA兼容性做的这么好了吗

brainstorm (火星人) 在 ta 的帖子中提到：

自己用AMD 7900xtx（24G显存）+32G内存试着本地部署了几个蒸馏后的小模型，32B能跑，14、8、7B的速度飞起，但也只能娱乐一下，跟在线版本的完全体R1不能比。而且用起来会有各种各样的小Bug，对话长度深度也会受性能限制。如果只是用现有硬件玩玩还可以，要是认真用的话要么搭个多卡集群上完整模型（应该超过了小白考虑的范畴），要么看看国内这些厂商有没有自己部署后开放的api吧。

可以的，有ROCm，把驱动更新到25.1.1就行了

mrzack (编程诛心) 在 ta 的帖子中提到：

AMD的显卡不支持CUDA也能流畅运行吗？现在OLLAMA兼容性做的这么好了吗

amd社区和LM studio宣传稿都有相关教程。

今天我详细看了下相关信息，分享

社区的实现教程:

https://community.amd.com/t5/ai/how-to-run-a-large-language-model-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709

AMD AI PC宣传稿:

https://www.amd.com/zh-cn/newsroom/press-releases/2025-1-6-amd-announces-expanded-consumer-and-commercial-ai-.html

AMD 

附件csv是AMD全部processor，下载子自AMD官网

两张图片是支持AMD AI的processor

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到：

内存32G，硬盘2T，

其他的求推荐个配置

自己组装是不是比买品牌的划算一些？

几个好友都开pro，放一起负载均衡呀

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到：

主要是被GPT比的

最近GPT天天说O1限额用完了要我开Pro，一个月上贡一条内存他还嫌不够

不是你们真有钱呀

一个月2k呢，我工资的三分之一就出去了

就是这么的穷

LYMing (老玉米) 在 ta 的帖子中提到：

几个好友都开pro，放一起负载均衡呀

看错了看错了。。。

我们是互助的plus用户。。。

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到：

不是你们真有钱呀

一个月2k呢，我工资的三分之一就出去了

就是这么的穷

不支持的显卡你可以看到显存占用接近0，会直接走内存

LYMing (老玉米) 在 ta 的帖子中提到：

Intel核显也可以跑

但是慢，不推荐

支持的，用Intel OpenVINO 

这玩意挺烂的，但确实比纯CPU强

sunshines (ECO07) 在 ta 的帖子中提到：

不支持的显卡你可以看到显存占用接近0，会直接走内存

那得最近几年的新电脑吧，我这个十几年前的估计不行

另外还有种情况是sharedGPU memory爆了的话会直接占用内存（虽然shared本身也就是来自内存），不知道是不是因为反正用cpu计算不必再绕弯了

LYMing (老玉米) 在 ta 的帖子中提到：

支持的，用Intel OpenVINO 

这玩意挺烂的，但确实比纯CPU强

十几年前的GPU肯定不行，我看视频 大家都是用的Intel Ultra核显

爆内存没辙，狠狠的加内存吧

至少插满32G单条，48G单条也可以考虑

重度用户可以考虑洋垃圾和云主机等其他方案

sunshines (ECO07) 在 ta 的帖子中提到：

那得最近几年的新电脑吧，我这个十几年前的估计不行

另外还有种情况是sharedGPU memory爆了的话会直接占用内存（虽然shared本身也就是来自内存），不知道是不是因为反正用cpu计算不必再绕弯了

爆内存没办法，即使开虚拟内存那也慢到无法接受了，不过恰好超过内存一半容量占用的时候因为shared GPU memory限制，反而直接全部转移到内存里，是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况，但11代处理器70b和7b没区别，新款估计7b会快很多

LYMing (老玉米) 在 ta 的帖子中提到：

十几年前的GPU肯定不行，我看视频 大家都是用的Intel Ultra核显

爆内存没辙，狠狠的加内存吧

至少插满32G单条，48G单条也可以考虑

……