/ 1
自己组一个专门用来执行ai推理的机难度怎么样
[复制链接] 分享:
4楼
这个倒巧了,最近有个外国人做了一个高权限的agent,最新名字moltbot,火起来之后直接导致mac mini卖断货了(
后续搞不好又因为这事涨价(
我是想着一来现在已经有不少针对低显存的小的开源模型,我又不专业,能跑起来几个可能就不错了,二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存,对我来说也许也够了
早知现在就早买了,兴趣出现得过于迟钝(
haoliangpku (几内亚主体文学思想研究会会长) 在 ta 的帖子中提到:
消费级显卡不做低精度量化容易爆显存吧,一顿折腾你就发现还是mac mini最有性价比
签名档
うらめしや~
8楼
目前在用云服务器跑moltbot,暂时没感觉比mac mini差哪去,模型都是线上跑
WekFer (芒果:欢迎来 Story 版玩耍~) 在 ta 的帖子中提到:
这个倒巧了,最近有个外国人做了一个高权限的agent,最新名字moltbot,火起来之后直接导致mac mini卖断货了(
后续搞不好又因为这事涨价(
我是想着一来现在已经有不少针对低显存的小的开源模型,我又不专业,能跑起来几个可能就不错了,二是以后可能陆续会有公司发布更多的优化过大小的模型可以匹配个人显卡的显存,对我来说也许也够了
……
/ 1

