小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置 - 桌面电脑(Computer)版 - 北大未名BBS
返回本版
1
2
3
下一页 >
/ 3
跳转

小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置

[复制链接]
楼主

liujiaabcde [离线]

此魂何甘归故土

4.2高级站友

发帖数:2229 原创分:7
<只看ta> <ASCIIArt>
1楼

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

签名档


发表于2025-02-07 10:45:26

Angelapku [离线]

心往

3.6中级站友

发帖数:809 原创分:0
<只看ta> <ASCIIArt>
2楼

你先试试14b,看卡不卡。不卡可以再试试32b。

我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。

平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置

自己组装是不是比买品牌的划算一些?

签名档

知道自己不要什么,十年后再回头看看

发表于2025-02-07 17:27:17

ANMEWM [在线]

西岭白鹭

3.9中级站友

发帖数:1363 原创分:0
<只看ta> <ASCIIArt>
3楼

SD,4090 24G显存可以跑

DEEPSEEK,你要部署多大参数的,你的内存必须大于模型的大小

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-07 17:38:19

littleeva [离线]

小eva

4.1高级站友

发帖数:1994 原创分:0
<只看ta> <ASCIIArt>
4楼

你是当真要用还是凑热闹?

个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-07 19:58:02

WWGGWWGG [离线]

汪汪狗狗

该用户不存在
<只看ta> <ASCIIArt>
5楼

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

littleeva (小eva) 在 ta 的帖子中提到:

你是当真要用还是凑热闹?

个人台式机能运行的模型效果没保障,主要就是图一乐。本来有机器还可以玩玩,为这个买一套纯属瞎凑热闹。

发表于2025-02-07 20:41:26

MonetSCBB [离线]

cat_sh

2.8声名鹊起

发帖数:126 原创分:0
<只看ta> <ASCIIArt>
6楼

小白问一下,是在cpu上跑嘛,还是mps呀

Angelapku (心往) 在 ta 的帖子中提到:

你先试试14b,看卡不卡。不卡可以再试试32b。

我是苹果M1 pro 16G。跑14b没问题。32b,就变得非常慢。

平时工作的时候,跑8b。完全不会卡顿,不影响正常工作。

发表于2025-02-07 20:57:39

Angelapku [离线]

心往

3.6中级站友

发帖数:809 原创分:0
<只看ta> <ASCIIArt>
7楼

必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。

MonetSCBB (cat_sh) 在 ta 的帖子中提到:

小白问一下,是在cpu上跑嘛,还是mps呀

签名档

知道自己不要什么,十年后再回头看看

发表于2025-02-07 21:20:13

littleeva [离线]

小eva

4.1高级站友

发帖数:1994 原创分:0
<只看ta> <ASCIIArt>
8楼

基本上就看显存容量,内存大没啥用(能运行但巨慢)。

前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐😂

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

发表于2025-02-07 21:38:35

WWGGWWGG [离线]

汪汪狗狗

该用户不存在
<只看ta> <ASCIIArt>
9楼

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

就是不知道这种勉强跑的,会不会效果上大打折扣

如果效果差不多其实还是可以忍的

littleeva (小eva) 在 ta 的帖子中提到:

基本上就看显存容量,内存大没啥用(能运行但巨慢)。

前面有个表,参照5070就行了。实际部署的好不好用得看具体场景。不过据我所知低于32B的也就图一乐

 最后修改于2025-02-07 22:33:54
  • 发表于2025-02-07 22:15:03

alanmei [离线]

alanmei

4.3主序星

发帖数:2887 原创分:0
<只看ta> <ASCIIArt>
10楼

 为什么不用硅基流动的API呢?

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-08 01:41:50

sunshines [离线]

ECO07

4.3巨阙

发帖数:2537 原创分:0
<只看ta> <ASCIIArt>
11楼

你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存

不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

发表于2025-02-08 05:33:43

MonetSCBB [离线]

cat_sh

2.8声名鹊起

发帖数:126 原创分:0
<只看ta> <ASCIIArt>
12楼

哦哦哦,那我的没戏了,手动两行泪

Angelapku (心往) 在 ta 的帖子中提到:

必须有显卡,苹果M1是集显。我发的图你看看,在上面,有个对照表。

发表于2025-02-08 07:35:11

littleeva [离线]

小eva

4.1高级站友

发帖数:1994 原创分:0
<只看ta> <ASCIIArt>
13楼

效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。

你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

发表于2025-02-08 07:50:21

sdy [在线]

莫阳

3.3中级站友

发帖数:440 原创分:0
<只看ta> <ASCIIArt>
14楼

一张4090跑32b很流畅啊

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

签名档

身体接触也是犯规啊?

发表于2025-02-08 08:42:56

LYMing [离线]

老玉米

4.0高级站友

发帖数:1688 原创分:0
<只看ta> <ASCIIArt>
15楼

友提,8840不光可以用核显跑,还可以用npu跑

要求用LM studio,amd官方有教程

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

那没救了,早知道买好一点的。。。

算了90咱买不起

不过我这个小笔记本(r7 8840hs核显 64g)也勉强跑的起来32b,虽然确实挺慢的

……

发表于2025-02-08 10:09:29

LYMing [离线]

老玉米

4.0高级站友

发帖数:1688 原创分:0
<只看ta> <ASCIIArt>
16楼

Intel核显也可以跑

但是慢,不推荐

sunshines (ECO07) 在 ta 的帖子中提到:

你这核显好歹还被认为是显卡,intel核显直接被忽视,直接走内存

不过没有独显的话据说苹果的核显比较快,如果不是高强度使用不如直接用在线的

发表于2025-02-08 10:10:00

LYMing [离线]

老玉米

4.0高级站友

发帖数:1688 原创分:0
<只看ta> <ASCIIArt>
17楼

比如CES 2025上发布的HP Z2 Mini G1a 小主机

littleeva (小eva) 在 ta 的帖子中提到:

效果没区别啊,计算过程都是一样的,只是显存爆了之后数据要从内存往显存搬运,搬运速率很慢就得等着。这和游戏爆显存之后卡成幻灯片一个道理。

你要是用Windows并且有些资金,可以看看即将推出的AMD AI Max+系列APU,这种和苹果电脑类似都有个超大规模的核显,据说最多可以划96G内存当作显存,并且带宽相比常规PC的内存带宽更大(相当于四通道,常规PC只是双通道,和显存比还是差点但基本接近4060Ti那种水平)。后续这款APU会以笔记本工作站或小型主机的形式推出。

发表于2025-02-08 10:12:05

mrzack [离线]

编程诛心

3.4中级站友

发帖数:484 原创分:0
<只看ta> <ASCIIArt>
18楼

先用kimi代替呗,kimi跑大多数任务都没问题,比不过ds但是比你本机还是强多了

WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

4070S, 64G内存能用来生产吗

实在是受不了繁忙了

发表于2025-02-08 10:20:14

txhwind [离线]

凌云七风

3.8中级站友

发帖数:1199 原创分:0
<只看ta> <ASCIIArt>
19楼

主要把显存搞大点。内存也可以搞大点以备 CPU 推理的场景

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-08 10:20:59

WWGGWWGG [离线]

汪汪狗狗

该用户不存在
<只看ta> <ASCIIArt>
20楼

我之前都没发现有个NPUhhh

等本子写完了去研究研究,谢谢朋友!~

LYMing (老玉米) 在 ta 的帖子中提到:

友提,8840不光可以用核显跑,还可以用npu跑

要求用LM studio,amd官方有教程

发表于2025-02-08 10:27:31
返回本版
1
2
3
下一页 >
/ 3
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入