毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

成本再低，一块钱也是成本，也要走账的

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

这里的核心问题在于官方上，正规渠道H卡是禁售的。所以学校要怎么解释突然多出来的卡，以及通过“第三方”购买差价怎么报销……

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

想要自己推理合法的gpu为H20，最低推理要求2台H20服务器，大约需要200万+

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

官网能用为啥要有学校的，又不是像overleaf一样的外国网站偶尔会被墙。。

而且671B完整模型要顶全校访问压力还是要不少计算资源的

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

大清计算机经费比较足，我建议大清搭一个然后给清北人三校一块用（确信）

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

所以overleaf学校有嘛（

MrNerd (wsltxgd) 在 ta 的帖子中提到：

官网能用为啥要有学校的，又不是像overleaf一样的外国网站偶尔会被墙。。

而且671B完整模型要顶全校访问压力还是要不少计算资源的

https://latex.pku.edu.cn 需校园网访问

FCBer (FCBer) 在 ta 的帖子中提到：

所以overleaf学校有嘛（

哦哦，感谢！

AllanChain (此ID尚未消失) 在 ta 的帖子中提到：

https://latex.pku.edu.cn 需校园网访问

先给青研装一个试试全自动删帖

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

哈哈哈哈哈，我觉得如果这样，青年研究中心的人可以不需要连续工作好几天值班删帖了

huayuankou (盏搞) 在 ta 的帖子中提到：

先给青研装一个试试全自动删帖

可以低成本部署

现在有4090 48g的涡轮卡，2.x万一张随便买

一套epyc的4u 8卡机箱，里面塞上48g x 8就能上deepseek 671b的q4km 

全套下来可以压缩在25w以内

GALENCIAGA (akagi) 在 ta 的帖子中提到：

想要自己推理合法的gpu为H20，最低推理要求2台H20服务器，大约需要200万+

4bit量化精度损失太大，而且你不能只考虑能塞下权重需要多少显存，r1类模型输出长度比较大，很吃kvcahe的 

LYMing (老玉米) 在 ta 的帖子中提到：

可以低成本部署

现在有4090 48g的涡轮卡，2.x万一张随便买

一套epyc的4u 8卡机箱，里面塞上48g x 8就能上deepseek 671b的q4km 

……

成本有多低

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

@linuxclub

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

同济就有这个平台

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

也是

最好还是大家各自还是用api，有赠费，没多贵

比如官方的和硅基流动的

私有化部署成本都不低

替代的廉价方案是scnet.cn用昇腾GPU， 64GB * 7 云服务器，只要7元/小时，kv cache也4b量化，能放多一些

一样存在量化损失精度问题

啥时候能有廉价的NVL72啊，那样就不用扣来扣去了。。

GALENCIAGA (akagi) 在 ta 的帖子中提到：

4bit量化精度损失太大，而且你不能只考虑能塞下权重需要多少显存，r1类模型输出长度比较大，很吃kvcahe的 

珍贵！

GALENCIAGA (akagi) 在 ta 的帖子中提到：

想要自己推理合法的gpu为H20，最低推理要求2台H20服务器，大约需要200万+

硅基流动上线了 API 基于华为昇腾系列，点赞! 

现在注册 https://cloud.siliconflow.cn/i/rYfeQZ6A 赠送 2000 万 token （邀请注册双方都有）

可以尝试一下

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了

本地部署了一个8B的，反应很快，准备上14b

PukinDogs (放手) 在 ta 的帖子中提到：

毕竟成本这么低，学校完全有实力负担得起。训练一个校内自己用，这可真是全校师生的福音了