小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置 - 桌面电脑(Computer)版 - 北大未名BBS
返回本版
< 上一页
1
2
3
/ 3
跳转

小白求推荐可以本地部署DEEPSEEK和SD的台式电脑配置

[复制链接]

barcamessi [离线]

梅西老妖

4.0高级站友

发帖数:1661 原创分:0
<只看ta> <ASCIIArt>
41楼

不要闲的蛋疼自己本地部署啊,吃硬件。

老老实实买别人的服务不就OK了么,DS的各种模型都在适配中,最多半个月,DS全模型都能适配完。

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-08 22:11:09

JerryLi [在线]

杰瑞

2.4一般站友

发帖数:33 原创分:0
<只看ta> <ASCIIArt>
42楼

用硅基流动的API挺好,这是邀请码,送2000万Tokens:https://cloud.siliconflow.cn/i/sMqRPkxu

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-08 22:19:31

WWGGWWGG [离线]

汪汪狗狗

该用户不存在
<只看ta> <ASCIIArt>
43楼

新款64G轻薄本

我这个是不是不算新款

sunshines (ECO07) 在 ta 的帖子中提到:

爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多

发表于2025-02-08 22:37:38

WWGGWWGG [离线]

汪汪狗狗

该用户不存在
<只看ta> <ASCIIArt>
44楼

顺便刚刚zhihu上看到一条评论

去找第三方部署的,perplexity自己部署了一个r1,perplexity pro闲鱼上30一年

不知道是个啥

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

发表于2025-02-08 22:39:57

LYMing [离线]

老玉米

4.0高级站友

发帖数:1688 原创分:0
<只看ta> <ASCIIArt>
45楼

perplexity是个ai搜索的国人网站,创业公司,小有名气

强力封锁国内使用,压根别想用他的app

pro版正常是20刀一年


闲鱼上那种盲猜是共享账号,体验可想而知


WWGGWWGG (汪汪狗狗) 在 ta 的帖子中提到:

顺便刚刚zhihu上看到一条评论

去找第三方部署的,perplexity自己部署了一个r1,perplexity pro闲鱼上30一年

不知道是个啥

发表于2025-02-09 01:50:36

LYMing [离线]

老玉米

4.0高级站友

发帖数:1688 原创分:0
<只看ta> <ASCIIArt>
46楼

补充intel GPU(含核显)、ios、安卓 本地部署llm模型的方案

AMD GPU本地部署llm的方案见32楼

---------------------------------------------------------------

Intel核显本地部署llm

使用Intel OpenVINO

https://docs.openvino.ai/2025/get-started/install-openvino.html


Intel 的OpenVINO PyTorch的GPU支持列表如下:

https://docs.openvino.ai/2025/about-openvino/release-notes-openvino/system-requirements.html?utm_source=chatgpt.com


Intel核显参数如下:

https://dgpu-docs.intel.com/devices/hardware-table.html

--------------------------------------------------------

iphone本地部署llm

要求iphone12之后的款,下载使用app “fullmoon” 

介绍:https://www.aisharenet.com/fullmoon/

---------------------------------------------------------

安卓本地部署llm

用mlc-llm自己写个app

教程:https://www.bilibili.com/video/BV1Ai421a7R6

doc:https://github.com/InternLM/Tutorial/tree/camp3/docs/EasterEgg/Android

sunshines (ECO07) 在 ta 的帖子中提到:

爆内存没办法,即使开虚拟内存那也慢到无法接受了,不过恰好超过内存一半容量占用的时候因为shared GPU memory限制,反而直接全部转移到内存里,是之前没想到的场景

不知道新款64G轻薄核显本用户用70b的时候是啥情况,但11代处理器70b和7b没区别,新款估计7b会快很多

 最后修改于2025-02-09 02:12:47
  • 发表于2025-02-09 02:11:52
楼主

liujiaabcde [离线]

此魂何甘归故土

4.2高级站友

发帖数:2229 原创分:7
<只看ta> <ASCIIArt>
47楼

谢谢各位回帖,怎么又火成十大了?

liujiaabcde (此魂何甘归故土) 在 ta 的帖子中提到:

内存32G,硬盘2T,

其他的求推荐个配置


自己组装是不是比买品牌的划算一些?

签名档


发表于2025-02-09 08:48:25
楼主

liujiaabcde [离线]

此魂何甘归故土

4.2高级站友

发帖数:2229 原创分:7
<只看ta> <ASCIIArt>
48楼

硅基流动是个啥?

JerryLi (杰瑞) 在 ta 的帖子中提到:

用硅基流动的API挺好,这是邀请码,送2000万Tokens:https://cloud.siliconflow.cn/i/sMqRPkxu

签名档


发表于2025-02-09 08:52:45
楼主

liujiaabcde [离线]

此魂何甘归故土

4.2高级站友

发帖数:2229 原创分:7
<只看ta> <ASCIIArt>
49楼

想和它聊限制级的话题

GALENCIAGA (akagi) 在 ta 的帖子中提到:

大模型从业者表示没必要自己本地部署,小参数模型(和什么4bit 2bit量化的模型)没有什么生产力可言。除非说你学习和动手能力极强,自己整一套数据集能把模型调到胜任你的某个专属任务。只是当一个通用模型去问问题的话还是选择各厂现成的聊天网站吧,省时省力。

签名档


发表于2025-02-09 08:55:43

Kale [离线]

Kale

2.4一般站友

发帖数:38 原创分:0
<只看ta> <ASCIIArt>
50楼

呜呜呜不会,谢谢解答,还是用网页版的吧

alanmei (alanmei) 在 ta 的帖子中提到:

我理解,用某个数据集调试模型参数,这是自己训练参数的意思,你会自己训练大模型吗?不会的话估计难以胜任

发表于2025-02-09 08:56:41
返回本版
< 上一页
1
2
3
/ 3
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入