【实习】小米大模型算法实习:基座预训练/推理优化 - 实习(Intern)版 - 北大未名BBS
返回本版
1
/ 1
跳转

【实习】小米大模型算法实习:基座预训练/推理优化

[复制链接]
楼主

vegetabledog [离线]

zwzz2022

2.3一般站友

发帖数:65 原创分:0
<只看ta> <ASCIIArt>
1楼

小米大模型算法工程师实习生招聘-大模型基座预训练/推理优化等 

职位描述

1. 重点研究大模型长文本建模,包括长文本的通用能力增强、训练效率优化、推理效率优化等;2. 重点研究基座模型预训练或持续预训练的技术创新方法,包括模型结构和训练策略的优化;3. 研究大模型高效推理技术,包括量化、剪枝、蒸馏、算子融合等提升大模型部署的推理速度;4. 跟进最新的学术进展,及时掌握大模型的前沿技术。

职位要求

1. 计算机相关专业,在读硕士、博士,发表过大模型相关研究AI顶会论文优先;2. 对主流稠密/MoE大模型如Qwen/GLM/LLaMA/Mistral/Mixtral等的原理和差异有深入的理解;3. 熟练掌握大模型训练框架Megatron-LM/Deepspeed等,有百亿/千亿NLP大模型训练调优经验优先;4. 有良好的代码开发能力,有开源项目开发经验优先。

有意向的可以联系wangquandong@xiaomi.com

 最后修改于2024-11-05 21:28:24
  • 发表于2024-11-05 21:28:07
返回本版
1
/ 1
跳转

请您先 登录 再进行发帖

快速回复楼主
标题
建议:≤ 24个字
签名档
发布(Ctrl+回车)

您输入的密码有误,请重新输入