首页版面好友提醒登录
返回桌面电脑版 同主题展开

Re: 小白求推荐可以本地部署DEEPSEEK和SD的台式电脑

LYMing老玉米 最后修改于2025-02-09 02:12:47
#44014

补充intel GPU(含核显)、ios、安卓 本地部署llm模型的方案

AMD GPU本地部署llm的方案见32楼

---------------------------------------------------------------

Intel核显本地部署llm

使用Intel OpenVINO

https://docs.openvino.ai/2025/get-started/install-openvino.html


Intel 的OpenVINO PyTorch的GPU支持列表如下:

https://docs.openvino.ai/2025/about-openvino/release-notes-openvino/system-requirements.html?utm_source=chatgpt.com


Intel核显参数如下:

https://dgpu-docs.intel.com/devices/hardware-table.html

--------------------------------------------------------

iphone本地部署llm

要求iphone12之后的款,下载使用app “fullmoon” 

介绍:https://www.aisharenet.com/fullmoon/

---------------------------------------------------------

安卓本地部署llm

用mlc-llm自己写个app

教程:https://www.bilibili.com/video/BV1Ai421a7R6

doc:https://github.com/InternLM/Tutorial/tree/camp3/docs/EasterEgg/Android

sunshines (ECO07) 在 ta 的帖子中提到:

爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多