小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置
kimi找文献的确是把好手,润色就比不上o1了
主要是想要天马行空的R1给点灵感写东西。。。
mrzack (编程诛心) 在 ta 的帖子中提到:
先用kimi代替呗,kimi跑大多数任务都没问题,比不过ds但是比你本机还是强多了
除非安全原因,个人部署其实不太经济,买一个16G内存条就得二百多块,还不如用硅基流动这样的api,二百多用一年也够了
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
大模型从业者表示没必要自己本地部署,小参数模型(和什么4bit 2bit量化的模型)没有什么生产力可言。除非说你学习和动手能力极强,自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧,省时省力。
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
欸,想问一下,如果是要调到胜任专属任务的程度,大概需要什么样的模型基础啊,不知道可行性如何?本人纯小白
GALENCIAGA (akagi) 在 ta 的帖子中提到:
大模型从业者表示没必要自己本地部署,小参数模型(和什么4bit 2bit量化的模型)没有什么生产力可言。除非说你学习和动手能力极强,自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧,省时省力。
我理解,用某个数据集调试模型参数,这是自己训练参数的意思,你会自己训练大模型吗?不会的话估计难以胜任
Kale (Kale) 在 ta 的帖子中提到:
欸,想问一下,如果是要调到胜任专属任务的程度,大概需要什么样的模型基础啊,不知道可行性如何?本人纯小白
不吃cuda的话,为什么不用A卡?
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
主要是被GPT比的
最近GPT天天说O1限额用完了要我开Pro,一个月上贡一条内存他还嫌不够
xiaohu (popo) 在 ta 的帖子中提到:
除非安全原因,个人部署其实不太经济,买一个16G内存条就得二百多块,还不如用硅基流动这样的api,二百多用一年也够了
自己用AMD 7900xtx(24G显存)+32G内存试着本地部署了几个蒸馏后的小模型,32B能跑,14、8、7B的速度飞起,但也只能娱乐一下,跟在线版本的完全体R1不能比。而且用起来会有各种各样的小Bug,对话长度深度也会受性能限制。如果只是用现有硬件玩玩还可以,要是认真用的话要么搭个多卡集群上完整模型(应该超过了小白考虑的范畴),要么看看国内这些厂商有没有自己部署后开放的api吧。
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
还真是,跑r1 7b看着intel核显一点没用,内存占用快拉满了。
sunshines (ECO07) 在 ta 的帖子中提到:
你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存
不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的
AMD的显卡不支持CUDA也能流畅运行吗?现在OLLAMA兼容性做的这么好了吗
brainstorm (火星人) 在 ta 的帖子中提到:
自己用AMD 7900xtx(24G显存)+32G内存试着本地部署了几个蒸馏后的小模型,32B能跑,14、8、7B的速度飞起,但也只能娱乐一下,跟在线版本的完全体R1不能比。而且用起来会有各种各样的小Bug,对话长度深度也会受性能限制。如果只是用现有硬件玩玩还可以,要是认真用的话要么搭个多卡集群上完整模型(应该超过了小白考虑的范畴),要么看看国内这些厂商有没有自己部署后开放的api吧。
可以的,有ROCm,把驱动更新到25.1.1就行了
mrzack (编程诛心) 在 ta 的帖子中提到:
AMD的显卡不支持CUDA也能流畅运行吗?现在OLLAMA兼容性做的这么好了吗
amd社区和LM studio宣传稿都有相关教程。
今天我详细看了下相关信息,分享
社区的实现教程:
AMD AI PC宣传稿:
AMD
附件csv是AMD全部processor,下载子自AMD官网
两张图片是支持AMD AI的processor
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
几个好友都开pro,放一起负载均衡呀
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
主要是被GPT比的
最近GPT天天说O1限额用完了要我开Pro,一个月上贡一条内存他还嫌不够
不是你们真有钱呀
一个月2k呢,我工资的三分之一就出去了
就是这么的穷
LYMing (老玉米) 在 ta 的帖子中提到:
几个好友都开pro,放一起负载均衡呀
看错了看错了。。。
我们是互助的plus用户。。。
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
不是你们真有钱呀
一个月2k呢,我工资的三分之一就出去了
就是这么的穷
不支持的显卡你可以看到显存占用接近0,会直接走内存
LYMing (老玉米) 在 ta 的帖子中提到:
Intel核显也可以跑
但是慢,不推荐
支持的,用Intel OpenVINO
这玩意挺烂的,但确实比纯CPU强
sunshines (ECO07) 在 ta 的帖子中提到:
不支持的显卡你可以看到显存占用接近0,会直接走内存
那得最近几年的新电脑吧,我这个十几年前的估计不行
另外还有种情况是sharedGPU memory爆了的话会直接占用内存(虽然shared本身也就是来自内存),不知道是不是因为反正用cpu计算不必再绕弯了
LYMing (老玉米) 在 ta 的帖子中提到:
支持的,用Intel OpenVINO
这玩意挺烂的,但确实比纯CPU强
十几年前的GPU肯定不行,我看视频 大家都是用的Intel Ultra核显
爆内存没辙,狠狠的加内存吧
至少插满32G单条,48G单条也可以考虑
重度用户可以考虑洋垃圾和云主机等其他方案
sunshines (ECO07) 在 ta 的帖子中提到:
那得最近几年的新电脑吧,我这个十几年前的估计不行
另外还有种情况是sharedGPU memory爆了的话会直接占用内存(虽然shared本身也就是来自内存),不知道是不是因为反正用cpu计算不必再绕弯了
爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景
不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多
LYMing (老玉米) 在 ta 的帖子中提到:
十几年前的GPU肯定不行,我看视频 大家都是用的Intel Ultra核显
爆内存没辙,狠狠的加内存吧
至少插满32G单条,48G单条也可以考虑
……