首页版面好友提醒登录
返回桌面电脑版

小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置

barcamessi梅西老妖 2025-02-08 22:11:09
41楼

不要闲的蛋疼自己本地部署啊,吃硬件。

老老实实买别人的服务不就OK了么,DS的各种模型都在适配中,最多半个月,DS全模型都能适配完。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

JerryLi杰瑞 2025-02-08 22:19:31
42楼

用硅基流动的API挺好,这是邀请码,送2000万Tokens:https://cloud.siliconflow.cn/i/sMqRPkxu

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

WWGGWWGG 2025-02-08 22:37:38
43楼

新款64G轻薄本

我这个是不是不算新款

sunshines (ECO07) 在 ta 的帖子中提到:

爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多

WWGGWWGG 2025-02-08 22:39:57
44楼

顺便刚刚zhihu上看到一条评论

去找第三方部署的,perplexity自己部署了一个r1,perplexity pro闲鱼上30一年

不知道是个啥

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

LYMing老玉米 2025-02-09 01:50:36
45楼

perplexity是个ai搜索的国人网站,创业公司,小有名气

强力封锁国内使用,压根别想用他的app

pro版正常是20刀一年


闲鱼上那种盲猜是共享账号,体验可想而知


WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

顺便刚刚zhihu上看到一条评论

去找第三方部署的,perplexity自己部署了一个r1,perplexity pro闲鱼上30一年

不知道是个啥

LYMing老玉米 最后修改于2025-02-09 02:12:47
46楼

补充intel GPU(含核显)、ios、安卓 本地部署llm模型的方案

AMD GPU本地部署llm的方案见32楼

---------------------------------------------------------------

Intel核显本地部署llm

使用Intel OpenVINO

https://docs.openvino.ai/2025/get-started/install-openvino.html


Intel 的OpenVINO PyTorch的GPU支持列表如下:

https://docs.openvino.ai/2025/about-openvino/release-notes-openvino/system-requirements.html?utm_source=chatgpt.com


Intel核显参数如下:

https://dgpu-docs.intel.com/devices/hardware-table.html

--------------------------------------------------------

iphone本地部署llm

要求iphone12之后的款,下载使用app “fullmoon” 

介绍:https://www.aisharenet.com/fullmoon/

---------------------------------------------------------

安卓本地部署llm

用mlc-llm自己写个app

教程:https://www.bilibili.com/video/BV1Ai421a7R6

doc:https://github.com/InternLM/Tutorial/tree/camp3/docs/EasterEgg/Android

sunshines (ECO07) 在 ta 的帖子中提到:

爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多

liujiaabcde此魂何甘归故土 2025-02-09 08:48:25
[楼主]47楼

谢谢各位回帖,怎么又火成十大了?

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

liujiaabcde此魂何甘归故土 2025-02-09 08:52:45
[楼主]48楼

硅基流动是个啥?

JerryLi (杰瑞) 在 ta 的帖子中提到:

用硅基流动的API挺好,这是邀请码,送2000万Tokens:https://cloud.siliconflow.cn/i/sMqRPkxu

liujiaabcde此魂何甘归故土 2025-02-09 08:55:43
[楼主]49楼

想和它聊限制级的话题

GALENCIAGA (akagi) 在 ta 的帖子中提到:

大模型从业者表示没必要自己本地部署,小参数模型(和什么4bit 2bit量化的模型)没有什么生产力可言。除非说你学习和动手能力极强,自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧,省时省力。

KaleKale 2025-02-09 08:56:41
50楼

呜呜呜不会,谢谢解答,还是用网页版的吧

alanmei (alanmei) 在 ta 的帖子中提到:

我理解,用某个数据集调试模型参数,这是自己训练参数的意思,你会自己训练大模型吗?不会的话估计难以胜任