Re: 各位大佬怎么看Deepseek - 信息科学技术学院(EECS)版 - 北大未名BBS

Re: 各位大佬怎么看Deepseek

[复制链接] 浏览该主题帖

saa [离线]

3.1中级站友

发帖数:242 原创分:0
关注
<ASCIIArt> #17791

感觉人人都能部署LLM其实还是蛮危险的,比如恐怖分子和毒贩可以从LLM中套瓷毒品和危险化学品的制备方法

Crayon (一睡の夢 一期の栄華 一杯の酒) 在 ta 的帖子中提到:

内存带宽限制速度,大小限制了模型和上下文长度。hugging face的人刚帖了一个纯cpu rig跑deepseek 670B 完整版,双16核cpu , 768GB内存,$6000美元拿下,系统功率小于500w, 速度大约6-8 tokens每秒,勉强能忍,不着急的话。普通玩家也可上手,买公司退下来的二手服务器会便宜更多。


https://x.com/carrigmat/status/1884244369907278106?t=_yLIGHe06z8qLUfnYY3gZQ&s=19

发表于2025-01-29 16:35:42

请您先 登录 再进行发帖

快捷回帖
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入