自己组一个专门用来执行ai推理的机难度怎么样
没意义 跑不了什么大模型
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
会不会更有性价比？除了显卡其他部分可以精简对吧
消费级显卡不做低精度量化容易爆显存吧，一顿折腾你就发现还是mac mini最有性价比
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
会不会更有性价比？除了显卡其他部分可以精简对吧
这个倒巧了，最近有个外国人做了一个高权限的agent，最新名字moltbot，火起来之后直接导致mac mini卖断货了（
后续搞不好又因为这事涨价（
我是想着一来现在已经有不少针对低显存的小的开源模型，我又不专业，能跑起来几个可能就不错了，二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存，对我来说也许也够了
早知现在就早买了，兴趣出现得过于迟钝（
haoliangpku (几内亚主体文学思想研究会会长) 在 ta 的帖子中提到：
消费级显卡不做低精度量化容易爆显存吧，一顿折腾你就发现还是mac mini最有性价比
建议白嫖 硅基流动API
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
会不会更有性价比？除了显卡其他部分可以精简对吧
小模型可以下一个ollama体验一下，体验之后立省几千块购机钱
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
这个倒巧了，最近有个外国人做了一个高权限的agent，最新名字moltbot，火起来之后直接导致mac mini卖断货了（
后续搞不好又因为这事涨价（
我是想着一来现在已经有不少针对低显存的小的开源模型，我又不专业，能跑起来几个可能就不错了，二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存，对我来说也许也够了
……
性价比肯定远远不如买云服务，光买机器的钱就足够在OpenRouter上用很多token了，自己部署服务在资源利用率和优化上也不上专业的厂商。自己部署的好处是数据泄露风险低，不依赖网络。
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
会不会更有性价比？除了显卡其他部分可以精简对吧
目前在用云服务器跑moltbot，暂时没感觉比mac mini差哪去，模型都是线上跑
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
这个倒巧了，最近有个外国人做了一个高权限的agent，最新名字moltbot，火起来之后直接导致mac mini卖断货了（
后续搞不好又因为这事涨价（
我是想着一来现在已经有不少针对低显存的小的开源模型，我又不专业，能跑起来几个可能就不错了，二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存，对我来说也许也够了
……
直接上mac studio就行了，统一内存在你的预算范围下拉满
WekFer (芒果：欢迎来 Story 版玩耍~) 在 ta 的帖子中提到：
会不会更有性价比？除了显卡其他部分可以精简对吧
