首页版面好友提醒登录
返回桌面电脑版

小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置

liujiaabcde此魂何甘归故土 2025-02-07 10:45:26
[楼主]1楼

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

Angelapku心往 2025-02-07 17:27:17
2楼

你先试试14b,看卡不卡。不卡可以再试试32b。

我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。

平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置

自己组装是不是比买品牌的划算一些?

签名档

知道自己不要什么,十年后再回头看看

ANMEWM西岭白鹭 2025-02-07 17:38:19
3楼

SD,4090 24G显存可以跑

DEEPSEEK,你要部署多大参数的,你的内存必须大于模型的大小

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

littleeva小eva 2025-02-07 19:58:02
4楼

你是当真要用还是凑热闹?

个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

WWGGWWGG汪汪狗狗 2025-02-07 20:41:26
5楼

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

littleeva (小eva) 在 ta 的帖子中提到:

你是当真要用还是凑热闹?

个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。

MonetSCBBcat_sh 2025-02-07 20:57:39
6楼

小白问一下,是在cpu上跑嘛,还是mps呀

Angelapku (心往) 在 ta 的帖子中提到:

你先试试14b,看卡不卡。不卡可以再试试32b。

我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。

平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。

Angelapku心往 2025-02-07 21:20:13
7楼

必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。

MonetSCBB (cat_sh) 在 ta 的帖子中提到:

小白问一下,是在cpu上跑嘛,还是mps呀

签名档

知道自己不要什么,十年后再回头看看

littleeva小eva 2025-02-07 21:38:35
8楼

基本上就看显存容量,内存大没啥用(能运行但巨慢)。

前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐😂

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

WWGGWWGG汪汪狗狗 最后修改于2025-02-07 22:33:54
9楼

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

就是不知道这种勉强跑的,会不会效果上大打折扣

如果效果差不多其实还是可以忍的

littleeva (小eva) 在 ta 的帖子中提到:

基本上就看显存容量,内存大没啥用(能运行但巨慢)。

前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐

alanmeialanmei 2025-02-08 01:41:50
10楼

 为什么不用硅基流动的API呢?

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

sunshinesECO07 2025-02-08 05:33:43
11楼

你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存

不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

MonetSCBBcat_sh 2025-02-08 07:35:11
12楼

哦哦哦,那我的没戏了,手动两行泪

Angelapku (心往) 在 ta 的帖子中提到:

必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。

littleeva小eva 2025-02-08 07:50:21
13楼

效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。

你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

sdy莫阳 2025-02-08 08:42:56
14楼

一张4090跑32b很流畅啊

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

签名档

身体接触也是犯规啊?

LYMing老玉米 2025-02-08 10:09:29
15楼

友提,8840不光可以用核显跑,还可以用npu跑

要求用LM studio,amd官方有教程

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

LYMing老玉米 2025-02-08 10:10:00
16楼

Intel核显也可以跑

但是慢,不推荐

sunshines (ECO07) 在 ta 的帖子中提到:

你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存

不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的

LYMing老玉米 2025-02-08 10:12:05
17楼

比如CES 2025上发布的HP Z2 Mini G1a 小主机

littleeva (小eva) 在 ta 的帖子中提到:

效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。

你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。

mrzack编程诛心 2025-02-08 10:20:14
18楼

先用kimi代替呗,kimi跑大多数任务都没问题,比不过ds但是比你本机还是强多了

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

txhwind凌云七风 2025-02-08 10:20:59
19楼

主要把显存搞大点。内存也可以搞大点以备 CPU 推理的场景

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

WWGGWWGG汪汪狗狗 2025-02-08 10:27:31
20楼

我之前都没发现有个NPUhhh

等本子写完了去研究研究,谢谢朋友!~

LYMing (老玉米) 在 ta 的帖子中提到:

友提,8840不光可以用核显跑,还可以用npu跑

要求用LM studio,amd官方有教程