首页版面好友提醒登录
返回信息科学技术学院版 同主题展开

Re: 各位大佬怎么看Deepseek

saa 2025-01-29 16:35:42
#17791

感觉人人都能部署LLM其实还是蛮危险的,比如恐怖分子和毒贩可以从LLM中套瓷毒品和危险化学品的制备方法

Crayon (一睡の夢 一期の栄華 一杯の酒) 在 ta 的帖子中提到:

内存带宽限制速度,大小限制了模型和上下文长度。hugging face的人刚帖了一个纯cpu rig跑deepseek 670B 完整版,双16核cpu , 768GB内存,$6000美元拿下,系统功率小于500w, 速度大约6-8 tokens每秒,勉强能忍,不着急的话。普通玩家也可上手,买公司退下来的二手服务器会便宜更多。


https://x.com/carrigmat/status/1884244369907278106?t=_yLIGHe06z8qLUfnYY3gZQ&s=19