26届实习有转正机会，其他日常实习生也行

职位概述

团队介绍：字节跳动国际电商 智能对话团队，团队负责国际化电商业务下的智能客服 等对话场景。

我们致力于推动大型语言模型（LLM）技术的民主化，通过算法创新、数据高效利用与工程优化，显著降低LLM训练与部署的资源门槛，打破“大模型是资源垄断者游戏”的固有观念，助力全球研究者与开发者共同探索AGI的未来。  

现招募在高效LLM训练与优化领域有深厚技术积累的研究者，共同探索以下核心方向：

---

研究方向

1. 参数高效训练与微调（PEFT）  

  - 开发轻量级微调技术（如LoRA、QLoRA、Prompt Tuning），优化模型可训练参数占比与显存占用。  

  - 研究混合精度训练、4bit量化（NF4）与分页优化器技术，实现消费级GPU上的百亿级模型训练。  

2. 数据高效学习与知识激发  

  - 探索小样本/零样本场景下的数据高效训练（如LIMO假设、元强化学习）。  

  - 构建合成数据生成框架（如代码题解、数学推理链），减少对人工标注的依赖。  

3. 模型架构与训练策略创新  

  - 设计动态稀疏激活架构（如MoE混合专家系统），提升模型容量与计算效率的平衡。  

  - 优化注意力机制（GQA、Flash Attention）、KV Cache压缩与长上下文扩展技术。  

4. 分布式训练与低成本部署  

  - 开发多维度并行训练框架（数据/张量/流水线并行），适配中小规模计算集群。  

  - 研究模型蒸馏、量化与边缘设备适配技术（如手机端部署）。  

---

任职要求

- 教育背景: 计算机科学、人工智能、数学等相关领域博士/硕士，或本科+3年以上研究经验。  

- 技术能力:  

  - 熟悉PyTorch/TensorFlow框架，有LLM训练调优经验（如Megatron-LM、DeepSpeed）。  

  - 深入理解Transformer架构、分布式训练、模型压缩技术。  

  - 在以下至少一个领域有研究积累：高效微调、数据增强、模型量化、强化学习。  

- 研究素养: 在顶级会议（NeurIPS/ICML/ACL等）发表过相关论文，或主导过开源项目（如Hugging Face模型库贡献）。  

- 加分项:  

  - 熟悉多模态模型训练（如视觉-语言对齐）、自监督预训练。  

  - 有开源社区协作经验或工具链开发经历（如定制化训练框架）。  

时间地点

- 实习天数：至少半年，一周3天及以上；

- 实习地点：北京、上海、杭州、珠海、新加坡、美国均可； 北京优先；

---

我们提供

- 前沿探索: 参与定义下一代高效LLM技术，推动AGI技术发展。  

- 资源支持: 灵活使用内部超算集群（千卡级算力）与海量多模态数据集。  

- 成长空间: 技术成果可开源或发表于顶级会议，支持个人IP建设与职业发展。

感兴趣的，发送【简历、可实习日期、一周X天、可实习地点】至linwutao@bytedance.com;