【腾讯混元大模型团队】 | 【预训练方向实习生招聘】

部门：腾讯混元大模型预训练组
工作地点：北京/深圳

团队与技术亮点

* 参与混元大模型核心研发，方向涵盖模型结构优化、数据策略设计、长上下文推理等，可灵活选择研究/工程课题。

* 团队拥有【非常充足】的GPU算力，支持大规模模型训练与架构探索。

岗位职责：参与混元大模型预训练全流程工作，包括但不限于：

    * 模型结构改进与效率提升：比如稀疏化、MoE结构设计、 线性Attention与SSM等模型架构创新，工程算法codesign的训练/推理效率提升.

    * 提升模型智力密度：从数据获取、质量、配比等方面，探索可扩展的数据方法。

    * 摸高长推理天花板：从架构、数据、训练策略、scaling行为等方面挖掘长推理极限

岗位要求

1. 学历背景：硕士及以上学历，数学、计算机、人工智能、自动化等相关专业。

2. 技术能力：

    * 熟悉python，Transformer架构，掌握PyTorch/TensorFlow等框架

    * 具有大模型预训练、微调或相关项目经验（论文/竞赛/开源项目成果优先）

3. 综合素质：

    * 自我驱动力强，对AI技术有强烈热情，能独立开展技术攻关

    * 具备优秀的问题分析能力和工程实现能力

    * 良好的团队协作与沟通能力

投递方式

邮件标题：【混元预训练实习】-姓名-学校-预计毕业时间
简历发送至：waingwzhang@tencent.com

电话/微信：15850558093
（附：如有GitHub/技术博客/论文PDF，请一并提供）