/ 1
LLM方向社招求问
[复制链接] 分享:
1楼
博士毕业在华子干了两年半了,主要搞llm推理加速,但是工作偏预研,不直接跟产品对接,技能栈如下:
1. LLM与推理引擎:
1.1 熟知 LLM 原理
1.2 熟知常见的推理引擎原理(如vllm,sglang,ktransformers等),能从头写一个完整的简易推理引擎(类似nano-vllm那种),实现加载给定模型参数、执行推理、多卡并行、KV cache管理、服务化等功能
1.3 对MoE这个子领域的前沿推理加速技术很了解,也做了点预研工作,投稿了两篇这个领域的paper,主要是通过调度优化降低通信开销
1.4 熟练掌握性能分析工具(profiling工具如nsys、perf等)
2. 算子开发
2.1 CUDA 和 ascend-C 基本不会
2.2 triton算子开发会写一点,能对推理引擎中的特定模块做一定程度的加速,但远谈不上精通
3. 编程语言
3.1 python:较为熟练
3.2 C++:落下比较多,近两年没怎么写过c++的项目了
3.3 Go:同C++
4. 其他零散项目与技能
4.1 算法:熟知LLM/VLM的常见模型架构,但是diffusion类模型了解不足
4.2 agent 开发:搞过,但感觉这玩意没啥门槛,科班生想上手应该很快
4.3 后训练:做过llm和vlm的fine-tune,但对RL算法了解不够
4.4 杂:对cloud computing的技术栈较为了解
感觉近期华子有点摇摇欲坠的倾向,自己干的也不太开心,求问版上的大佬,我这种技术背景,现在想跳到互联网ai infra岗位的话,选择多吗
/ 1
