研究方向：基于LLM/VLLM的高效微调方法或自动评测技术

背景：大语言模型（LLM）由于其庞大的参数量，很难在普通开发者的GPU上运行训练定制化。因此目前业界诞生了很多通过添加额外模型结构来降低参数量和训练速度的轻量折中训练方案，较为典型的如LoRA、Adapter、Prompt tuning、P-Tuning等。基于LoRA，也产生了诸如Adaptive LoRA来自适应r值，LongLoRA来支持Long Context等的改进方法。在不添加模型额外结构的前提下，LLM通常使用FlashAttention，以期利用GPU SRAM来提升训练速度，或使用Gradient checkpointing来减少显存占用以适配低阶GPU。基于这些方法，又产生了自适应寻找最佳Gradient checkpointing module的改进方案。基于目前业界的研究，我们希望进一步做新的探索。

职位要求

- 熟悉机器学习/深度学习基本概念，有机器学习/深度学习相关的研究/项目经历

- 熟悉LLM/VLLM模型结构与训练

- 加分项：发表过相关的顶会论文

工作地点与时间：

阿里巴巴通义实验室

杭州/背景，实习期不少于半年

投递链接（研究方向不受制于该职位链接）：

https://careers-tongyi.alibaba.com/campus/position-detail?lang=zh&positionId=2028214

或联系： xingjun.wxj@alibaba-inc.com    wx: wangxingjunabc