大模型相关工作对比,求建议 - 找工作啦(Job)版 - 北大未名BBS
返回本版
1
/ 1
跳转

大模型相关工作对比,求建议

[复制链接]
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
1楼

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架


两边职级 or 定位都对标 P7- 的样子,钱差不太多,六小虎略多一点。

大厂做业务 agent 开发的话担心技术壁垒不够,如果未来做不到管理会有危机(不过做业务应该相比做 infra 会相对容易做到管理?)

小厂做推理框架技术壁垒是够的,担心稳定性


第一的原则还是希望自己能有一个更好的职业发展吧,求学长学姐们建议~

发表于2025-09-15 12:15:23
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
2楼

dd

chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

发表于2025-09-15 16:51:49

bigbigben [离线]

三木

2.8一般站友

发帖数:115 原创分:0
<只看ta> <ASCIIArt>
3楼

个人经验

坑位一般存在于业务扩张期的中厂且跟对老板

小厂活命要紧,一个人能瓣成八瓣用,方向经常会调整,想沉下心做技术比较难

大厂主要看做的业务是否核心,训练资源充不充足,leader及其+2水平如何。如果这几个问题都不大,在大厂里沉淀/打磨下技术,未来跳槽也比较稳。ps 如果想走管理,做事情积极主动一些,凡事有头有尾,先从带实习生分活开始



chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

发表于2025-09-15 16:56:01
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
4楼

现在的一个问题就是,大厂做的是 agent 开发,呆两年如果想转 ai infra 就没机会转了,感觉 ai infra 是大模型时代更核心的方向。另外 agent 开发了解下来技术壁垒不高,大厂这个团队也偏业务开发,恐怕在这边技术提升会比较有限。

所以现在更本质的问题是方向的选择:ai infra 推理框架 VS agent 业务开发,学长对于这个问题是什么看法呢?

bigbigben (三木) 在 ta 的帖子中提到:

个人经验

坑位一般存在于业务扩张期的中厂且跟对老板

小厂活命要紧,一个人能瓣成八瓣用,方向经常会调整,想沉下心做技术比较难

……

 最后修改于2025-09-15 17:10:58
  • 发表于2025-09-15 17:05:26

oneyyds [离线]

me lost

3.4中级站友

发帖数:507 原创分:0
<只看ta> <ASCIIArt>
5楼

之前做的传统infra是什么方向?和模型推理相关吗

chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

发表于2025-09-15 19:46:24
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
6楼

相关

oneyyds (me lost) 在 ta 的帖子中提到:

之前做的传统infra是什么方向?和模型推理相关吗

发表于2025-09-15 21:34:55

Jeep [离线]

Jeep

2.8剑豪

发帖数:107 原创分:0
<只看ta> <ASCIIArt>
7楼

作为一个业界从业者来讲。一,如果是仅考虑业务方向,AI infra永远是利润最高、最重要的,只不过现在的点是六小虎发展不太行了,模型节奏慢下来了(不知道你算不算DS,如果是DS、kimi,那其实还行的,做AI infra肯定很不错。二,如果是考虑稳定性方向,Agent是未来很重要的方向,只不过业界现在都还没形成共识,还在探索阶段,还是建议做AI infra,如果不是DS、kimi的AI infra,建议可以进入后做观望,跳到大厂,大厂这方面很缺人

chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前

 最后修改于2025-09-16 10:51:41
  • 发表于2025-09-16 10:44:53

Elon [离线]

留爷处处长

4.5红孩儿

发帖数:3796 原创分:2
<只看ta> <ASCIIArt>
8楼

如果agent开发是调包/prompt engineering,本质上是产品组的话,除非coding agent都别去,我上一次看到这样的光景还是2022年web3的人喊着搞infra. 目前除了coding以外真正solid的赚钱场景有限,遇上资本市场周期性收缩会首先砍这一块不赚钱的创新业务。你要是真的很懂某个领域的agent觉得有前途,那不如自己去创业,就别上班了


coding agent可以搞搞,前途大大的,不仅限于coding. 未来的十亿级别产品也会从这里出来。要么就是头部ai公司搞general agent的post training, 前途也还可以


建议做推理。稳定性不在于公司,在于你的技术壁垒。就算你去的公司黄了,总有别的厂搞infra, 也总是有一些中厂想要自己部署大模型,要魔改比较前沿开源方案的,都可以去



chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

签名档

拔剑四顾心茫然

 最后修改于2025-09-16 15:26:08
  • 发表于2025-09-16 15:25:28

pkudyf [离线]

dyf

2.2一般站友

发帖数:424 原创分:0
<只看ta> <ASCIIArt>
9楼

最好有具体的公司名字,每个具体的公司的含金量都是完全不同的,大模型六小虎应该不是智谱,智谱最近锁HC了,其他的不建议加入,除非拿不到优质大厂的ai infra,那么就可以把其他五小虎做个跳板,未来时机合适去优质大厂。

其次,如果资质好,我可以帮你内推到一个大厂非常核心的infra团队做 ai infra和agent,目前该团队各方向都在紧急招聘,大模型算法老大来自某大厂基座大模型算法团队的大牛。

如果你的学历足够好(比如985本硕),去这个大厂做infra的过程中,未来可以择机转到大模型算法,工程和大模型算法是两个分水岭,身价完全不同。

chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

发表于2025-09-16 20:36:00
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
10楼

请问除智谱之外的几家为什么不推荐呢,它们主要问题在哪呢?

去大厂 ai infra 的话我应该去不了,没匹配经验

pkudyf (dyf) 在 ta 的帖子中提到:

最好有具体的公司名字,每个具体的公司的含金量都是完全不同的,大模型六小虎应该不是智谱,智谱最近锁HC了,其他的不建议加入,除非拿不到优质大厂的ai infra,那么就可以把其他五小虎做个跳板,未来时机合适去优质大厂。

其次,如果资质好,我可以帮你内推到一个大厂非常核心的infra团队做 ai infra和agent,目前该团队各方向都在紧急招聘,大模型算法老大来自某大厂基座大模型算法团队的大牛。

如果你的学历足够好(比如985本硕),去这个大厂做infra的过程中,未来可以择机转到大模型算法,工程和大模型算法是两个分水岭,身价完全不同。

发表于2025-09-16 20:42:47
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
11楼

另外您提的优质大厂是指的阿里字节Deepseek这种吗?

pkudyf (dyf) 在 ta 的帖子中提到:

最好有具体的公司名字,每个具体的公司的含金量都是完全不同的,大模型六小虎应该不是智谱,智谱最近锁HC了,其他的不建议加入,除非拿不到优质大厂的ai infra,那么就可以把其他五小虎做个跳板,未来时机合适去优质大厂。

其次,如果资质好,我可以帮你内推到一个大厂非常核心的infra团队做 ai infra和agent,目前该团队各方向都在紧急招聘,大模型算法老大来自某大厂基座大模型算法团队的大牛。

如果你的学历足够好(比如985本硕),去这个大厂做infra的过程中,未来可以择机转到大模型算法,工程和大模型算法是两个分水岭,身价完全不同。

发表于2025-09-16 21:00:03

pkudyf [离线]

dyf

2.2一般站友

发帖数:424 原创分:0
<只看ta> <ASCIIArt>
12楼

智谱即将上市,大模型领域算是大厂级别,其他大厂的大模型起步比智谱还晚。其次他是非常稳健发展的,这两年都是几倍的增长态势。其他几家有的是不断缩减的,有的是资金遇到问题,有的虽然没有缩减但是没有很稳健。

其次,五小虎目前是有优势,因为有先发优势,但是一年以后就没有什么优势了,各大厂将会有非常多的大模型算法人才诞生且卡资源持续性好、比五小虎卡资源多,也就是未来一年以后这几家公司的光环会骤减。

再次,如今大模型属于乱世阶段,80%都是靠运气,要勇敢去尝试,不要自以为是行还是不行,比如某公司就急需人才,看到你潜力还可以,有点基础,可能就offer了。或者某面试官看错了人误把你录用进去了。因为很多面试官也不完全懂大模型,真正对大模型精通的人不多,大家目前很多人都是草台班子。


你问的TOP公司基本上是你说的几家吧。但是每家公司都是各有特色,所以最好是one by one的评论,以及需要结合你自己本身的具体背景来评估。没法一概而论。

chammu (wo) 在 ta 的帖子中提到:

请问除智谱之外的几家为什么不推荐呢,它们主要问题在哪呢?

去大厂 ai infra 的话我应该去不了,没匹配经验

发表于2025-09-16 22:15:24

barcamessi [离线]

梅西老妖

4.0高级站友

发帖数:1667 原创分:0
<只看ta> <ASCIIArt>
13楼

刚好在做AI infra这块,要是Kimi这种的话,我建议AI infra。他家的技术大厂都认的。另外推理框架是sglang/vllm这种还是偏AI框架这种?

chammu (wo) 在 ta 的帖子中提到:

硕 3.5,之前做传统 Infra,想做大模型相关的工程工作, 所以最近看了些机会:

1. 大厂某业务做 agent 开发

2. 大模型六小虎中靠前的一个做推理框架

……

发表于2025-09-16 22:39:23
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
14楼

sglang/vllm 这种,不过他家是自研的,没直接用开源

barcamessi (梅西老妖) 在 ta 的帖子中提到:

刚好在做AI infra这块,要是Kimi这种的话,我建议AI infra。他家的技术大厂都认的。另外推理框架是sglang/vllm这种还是偏AI框架这种?

发表于2025-09-17 14:07:17

barcamessi [离线]

梅西老妖

4.0高级站友

发帖数:1667 原创分:0
<只看ta> <ASCIIArt>
15楼

那就是侵入式修改了...看吧,光推理框架其实含金量不高,核心是和算子,特性优化。Triton啊,量化啊这些搞在一起才有价值

chammu (wo) 在 ta 的帖子中提到:

sglang/vllm 这种,不过他家是自研的,没直接用开源

发表于2025-09-17 23:13:05
楼主

chammu [离线]

wo

2.5一般站友

发帖数:44 原创分:0
<只看ta> <ASCIIArt>
16楼

他家因为做的早,所以一直是自研的。具体做啥倒是给我机会选,但我觉得算子门槛更高,完全没算子基础的话 landing 会有压力,所以如果去的话想先从框架入手,以后熟悉了再接触算子

barcamessi (梅西老妖) 在 ta 的帖子中提到:

那就是侵入式修改了...看吧,光推理框架其实含金量不高,核心是和算子,特性优化。Triton啊,量化啊这些搞在一起才有价值

发表于2025-09-18 02:46:01

barcamessi [离线]

梅西老妖

4.0高级站友

发帖数:1667 原创分:0
<只看ta> <ASCIIArt>
17楼

自研不是长久之计,更多是增强插件吧,社区现在进化很快。感觉像是阶跃或者kimi

chammu (wo) 在 ta 的帖子中提到:

他家因为做的早,所以一直是自研的。具体做啥倒是给我机会选,但我觉得算子门槛更高,完全没算子基础的话 landing 会有压力,所以如果去的话想先从框架入手,以后熟悉了再接触算子

发表于2025-09-18 22:30:41
返回本版
1
/ 1
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入