小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置
你先试试14b,看卡不卡。不卡可以再试试32b。
我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。
平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
SD,4090 24G显存可以跑
DEEPSEEK,你要部署多大参数的,你的内存必须大于模型的大小
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
你是当真要用还是凑热闹?
个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
4070S, 64G内存能用来生产吗
实在是受不了繁忙了
littleeva (小eva) 在 ta 的帖子中提到:
你是当真要用还是凑热闹?
个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。
小白问一下,是在cpu上跑嘛,还是mps呀
Angelapku (心往) 在 ta 的帖子中提到:
你先试试14b,看卡不卡。不卡可以再试试32b。
我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。
平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。
必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。
MonetSCBB (cat_sh) 在 ta 的帖子中提到:
小白问一下,是在cpu上跑嘛,还是mps呀
基本上就看显存容量,内存大没啥用(能运行但巨慢)。
前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐😂
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
4070S, 64G内存能用来生产吗
实在是受不了繁忙了
那没救了,早知道买好一点的。。。
算了90咱买不起
不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的
就是不知道这种勉强跑的,会不会效果上大打折扣
如果效果差不多其实还是可以忍的
littleeva (小eva) 在 ta 的帖子中提到:
基本上就看显存容量,内存大没啥用(能运行但巨慢)。
前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐
为什么不用硅基流动的API呢?
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存
不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
那没救了,早知道买好一点的。。。
算了90咱买不起
不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的
……
哦哦哦,那我的没戏了,手动两行泪
Angelapku (心往) 在 ta 的帖子中提到:
必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。
效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。
你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
那没救了,早知道买好一点的。。。
算了90咱买不起
不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的
……
一张4090跑32b很流畅啊
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
友提,8840不光可以用核显跑,还可以用npu跑
要求用LM studio,amd官方有教程
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
那没救了,早知道买好一点的。。。
算了90咱买不起
不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的
……
Intel核显也可以跑
但是慢,不推荐
sunshines (ECO07) 在 ta 的帖子中提到:
你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存
不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的
比如CES 2025上发布的HP Z2 Mini G1a 小主机
littleeva (小eva) 在 ta 的帖子中提到:
效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。
你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。
先用kimi代替呗,kimi跑大多数任务都没问题,比不过ds但是比你本机还是强多了
WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:
4070S, 64G内存能用来生产吗
实在是受不了繁忙了
主要把显存搞大点。内存也可以搞大点以备 CPU 推理的场景
liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:
内存32G,硬盘2T,
其他的求推荐个配置
自己组装是不是比买品牌的划算一些?
我之前都没发现有个NPUhhh
等本子写完了去研究研究,谢谢朋友!~
LYMing (老玉米) 在 ta 的帖子中提到:
友提,8840不光可以用核显跑,还可以用npu跑
要求用LM studio,amd官方有教程