首页版面好友提醒登录
返回实习版

【实习】小米大模型算法实习:基座预训练/推理优化

vegetabledogzwzz2022 最后修改于2024-11-05 21:28:24
[楼主]1楼

小米大模型算法工程师实习生招聘-大模型基座预训练/推理优化等 

职位描述

1. 重点研究大模型长文本建模,包括长文本的通用能力增强、训练效率优化、推理效率优化等;2. 重点研究基座模型预训练或持续预训练的技术创新方法,包括模型结构和训练策略的优化;3. 研究大模型高效推理技术,包括量化、剪枝、蒸馏、算子融合等提升大模型部署的推理速度;4. 跟进最新的学术进展,及时掌握大模型的前沿技术。

职位要求

1. 计算机相关专业,在读硕士、博士,发表过大模型相关研究AI顶会论文优先;2. 对主流稠密/MoE大模型如Qwen/GLM/LLaMA/Mistral/Mixtral等的原理和差异有深入的理解;3. 熟练掌握大模型训练框架Megatron-LM/Deepspeed等,有百亿/千亿NLP大模型训练调优经验优先;4. 有良好的代码开发能力,有开源项目开发经验优先。

有意向的可以联系wangquandong@xiaomi.com