【实习】大模型推理研发实习生-豆包大模型
职位描述
日常实习:面向全体在校生,为符合岗位要求的同学提供为期3个月及以上的项目实践机会。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。
豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。
1、参与海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理;
2、参与大模型推理服务的多角色、多阶段、PD分图/EP调度,KVCache centric调度,实现动态、及时、准确的扩缩容管理;
3、参与通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优调度,充分发挥大规模分布式集群算力;
4、参与大模型服务的稳定性,通过线上和线下的多系统联动,实现在多种异构资源(GPU、CPU、其他异构硬件)、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复;
5、参与多机房、多地域、多云场景的在离线任务/服务调度,实现负载的合理化分布。
职位要求
1、本科及以上学历在读,计算机相关专业优先;
2、熟练掌握Linux环境下的C++/Go/Python/Shell等1至2种以上语言;
3、了解Kubernetes架构和生态,熟悉Docker/Containerd/Kata/Podman等容器技术;
4、有优秀的逻辑分析能力,能够对业务逻辑进行合理的抽象和拆分;
5、有强烈的工作责任心,较好的学习能力、沟通能力和自驱力,能够快速的响应和行动;
6、有良好的工作文档习惯,及时按要求撰写更新工作流程及技术文档。
加分项:
1、了解至少一种主流的机器学习框架/推理引擎,有大模型推理性能优化经验;
2、有大模型资源调度/服务编排的落地经验,参与过大规模分布式系统的设计、开发和维护;
3、了解GPU系统/体系结构;
4、在计算机系统顶会(包括但不限于OSDI/NSDI/SOSP/FAST/Eurosys)上有文章发表经验。
有问题可私信
onmysofa (彘) 在 ta 的帖子中提到:
职位描述
日常实习:面向全体在校生,为符合岗位要求的同学提供为期3个月及以上的项目实践机会。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。
……