自己组一个专门用来执行ai推理的机难度怎么样 - 桌面电脑(Computer)版 - 北大未名BBS
返回本版
1
/ 1
跳转

自己组一个专门用来执行ai推理的机难度怎么样

[复制链接]
楼主

WekFer [在线]

芒果:欢迎来 Story 版玩耍~

5.3主序星

发帖数:1.2万 原创分:12
<只看ta> <ASCIIArt>
1楼

会不会更有性价比?除了显卡其他部分可以精简对吧

签名档

うらめしや~

发表于2026-01-28 17:31:42

Itai [离线]

David

1.2小花猫

发帖数:163 原创分:0
<只看ta> <ASCIIArt>
2楼

没意义  跑不了什么大模型

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

会不会更有性价比?除了显卡其他部分可以精简对吧

发表于2026-01-28 17:36:04

haoliangpku [在线]

几内亚主体文学思想研究会会长

4.2砂锅丸子饭

发帖数:2092 原创分:0
<只看ta> <ASCIIArt>
3楼

消费级显卡不做低精度量化容易爆显存吧,一顿折腾你就发现还是mac mini最有性价比

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

会不会更有性价比?除了显卡其他部分可以精简对吧

发表于2026-01-29 09:37:43
楼主

WekFer [在线]

芒果:欢迎来 Story 版玩耍~

5.3主序星

发帖数:1.2万 原创分:12
<只看ta> <ASCIIArt>
4楼

这个倒巧了,最近有个外国人做了一个高权限的agent,最新名字moltbot,火起来之后直接导致mac mini卖断货了(

后续搞不好又因为这事涨价(

我是想着一来现在已经有不少针对低显存的小的开源模型,我又不专业,能跑起来几个可能就不错了,二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存,对我来说也许也够了

早知现在就早买了,兴趣出现得过于迟钝(

haoliangpku (几内亚主体文学思想研究会会长) 在 ta 的帖子中提到:

消费级显卡不做低精度量化容易爆显存吧,一顿折腾你就发现还是mac mini最有性价比

签名档

うらめしや~

 最后修改于2026-01-29 10:35:50
  • 发表于2026-01-29 10:33:03

dusttilldawn [离线]

Everydaylife

0.2新手上路

发帖数:10 原创分:0
<只看ta> <ASCIIArt>
5楼

建议白嫖 硅基流动API

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

会不会更有性价比?除了显卡其他部分可以精简对吧

发表于2026-01-29 10:35:42

saa [离线]

3.1中级站友

发帖数:256 原创分:0
<只看ta> <ASCIIArt>
6楼

小模型可以下一个ollama体验一下,体验之后立省几千块购机钱

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

这个倒巧了,最近有个外国人做了一个高权限的agent,最新名字moltbot,火起来之后直接导致mac mini卖断货了(

后续搞不好又因为这事涨价(

我是想着一来现在已经有不少针对低显存的小的开源模型,我又不专业,能跑起来几个可能就不错了,二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存,对我来说也许也够了

……

发表于2026-01-29 13:26:01

vimacs [离线]

Lisp Interaction Paredit AC

4.2护卫舰

发帖数:2360 原创分:1
<只看ta> <ASCIIArt>
7楼

性价比肯定远远不如买云服务,光买机器的钱就足够在OpenRouter上用很多token了,自己部署服务在资源利用率和优化上也不上专业的厂商。自己部署的好处是数据泄露风险低,不依赖网络。


WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

会不会更有性价比?除了显卡其他部分可以精简对吧


签名档


发表于2026-01-29 13:28:10

bspkq [离线]

与其感慨路难行

3.5剑侠

发帖数:649 原创分:0
<只看ta> <ASCIIArt>
8楼

目前在用云服务器跑moltbot,暂时没感觉比mac mini差哪去,模型都是线上跑 

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

这个倒巧了,最近有个外国人做了一个高权限的agent,最新名字moltbot,火起来之后直接导致mac mini卖断货了(

后续搞不好又因为这事涨价(

我是想着一来现在已经有不少针对低显存的小的开源模型,我又不专业,能跑起来几个可能就不错了,二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存,对我来说也许也够了

……

发表于2026-01-29 13:51:52

mea [离线]

牙Y

3.2树袋熊

发帖数:348 原创分:0
<只看ta> <ASCIIArt>
9楼

直接上mac studio就行了,统一内存在你的预算范围下拉满

WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:

会不会更有性价比?除了显卡其他部分可以精简对吧

签名档

百合三连,彻夜难眠

发表于2026-01-29 15:20:41
返回本版
1
/ 1
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入