月之暗面(Moonshot AI)大语言模型算法实习生（预训练方向）

职位描述

1. 深度参与LLM的数据处理，清洗和优化，使用科学的方式进行LLM预训练和对齐的数据质量提升、筛选和配比，包括但不限于中英文数据、数学代码数据、多语言数据等。

2. 深入调研如何设计科学的实验进行更加经济有效的数据探索，探索数据配比、模型scaling相关的前沿技术，亲自获取如何训练好一个LLM基座模型的Know-How。

3. 良好的团队氛围，扁平化的沟通和管理，丰富的算力和数据资源。

职位要求

1. 本科及以上学历，计算机、人工智能、自动化、数学专业优先

2. 扎实的编程基础，对数据结构、算法设计基础有深度了解，熟练掌握Python/C++等主流语言一种或多种，熟练应用pytorch、tensorflow、huggingface等深度学习框架和库

3. 有大模型预训练、对齐训练丰富实操经验，或大模型数据筛选和优化相关经验优先

4. 熟悉Spark, Ray等分布式计算框架优先

5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先

6. 在顶级学术会议上发表论文者优先，在机器学习、人工智能领域内获得过优异成绩者优先

7. 责任心强，积极主动，有良好的沟通和合作能力

如有兴趣请邮件 msh_pretrain@163.com 或者加微信 wishagi43 备注【Moonshot实习】