8845hs主机可以直接用lmstudio部署模型,超简单
目前是24g内存,只跑了7b模型,严肃点的问题回答很不准
明天准备吧内存升级到64g试一下
会继续更新试用信息
升级64g内存后,可以跑32b模型,准度初步可以接受,但是每秒3个字,略卡。。。。
Abramou (好名字可以让朋友更容易的记住你) 在 ta 的帖子中提到:
目前是24g内存,只跑了7b模型,严肃点的问题回答很不准
明天准备吧内存升级到64g试一下
会继续更新试用信息
请问这是GPU推理速度,还是NPU推理速度呢。。
每秒3个字还好,比纯cpu强一点(但有限)。。。
Abramou (好名字可以让朋友更容易的记住你) 在 ta 的帖子中提到:
升级64g内存后,可以跑32b模型,准度初步可以接受,但是每秒3个字,略卡。。。。
8840HS有戏不
Abramou (好名字可以让朋友更容易的记住你) 在 ta 的帖子中提到:
目前是24g内存,只跑了7b模型,严肃点的问题回答很不准
明天准备吧内存升级到64g试一下
会继续更新试用信息
npu好像用不上
LYMing (老玉米) 在 ta 的帖子中提到:
请问这是GPU推理速度,还是NPU推理速度呢。。
每秒3个字还好,比纯cpu强一点(但有限)。。。