Re: 8845hs主机可以直接用lmstudio部署模型,超简单
请问这是GPU推理速度,还是NPU推理速度呢。。
每秒3个字还好,比纯cpu强一点(但有限)。。。
Abramou (好名字可以让朋友更容易的记住你) 在 ta 的帖子中提到:
升级64g内存后,可以跑32b模型,准度初步可以接受,但是每秒3个字,略卡。。。。
本站规定,相同或相近内容的帖子一周内严禁在5个及5个以上讨论区内重复张贴,否则将受到禁言全站发文权限直至删除帐号的处罚。
多个id共同一文多发的,对参与多发的每个id按多发总数进行处罚
点击右上角“”分享该页面