首页版面好友提醒登录
返回信息科学技术学院版 同主题展开

Re: 学校要不要组建一个基于deepseek的模型服务器啊

上一帖 顶部 下一帖
显示图片 底部
LYMing老玉米 2025-02-01 16:34:42 #17829

可以低成本部署

现在有4090 48g的涡轮卡，2.x万一张随便买

一套epyc的4u 8卡机箱，里面塞上48g x 8就能上deepseek 671b的q4km 

全套下来可以压缩在25w以内

GALENCIAGA (akagi) 在 ta 的帖子中提到：

想要自己推理合法的gpu为H20，最低推理要求2台H20服务器，大约需要200万+

回复转载