首页版面好友提醒登录
返回求职信息发布版

【蚂蚁】【社招】大模型推理部署优化

xiaopku 2024-04-14 15:28:36
[楼主]1楼

一、团队介绍

蚂蚁集团作为世界顶尖互联网金融平台,具备超大的业务规模以及最复杂的金融业务。平台技术事业群是蚂蚁核心技术的发动机,研发数字化基础设施的核心技术、开拓技术边界,为蚂蚁科技提供更好的数字服务储备技术力量、开拓商业边界。

平台技术事业群风险智能团队,负责蚂蚁蚂蚁集团平台工程的智能化,团队成立3年多以来,支持了蚂蚁集团云计算基础设施智能化运维的升级改造。团队的Mission是,通过世界级的技术创新和影响,构建有广泛用户的算法服务和平台,支撑内外部产品和业务落地。团队秉承创新基因,在支撑业务落地的同时,推动技术影响。3年以来在ICLR、NeurIPS、KDD、ACL等顶会发表论文20余篇,创新业务结果获得两次蚂蚁技术最高奖T-Star,1次蚂蚁集团最高奖SuperMA。开源项目CodeFuse获得4K点赞(2024年2月),Huggingface和modelscope上模型累积下载量超过150万次。

在这里,你可以运用机器学习和大数据技术,参与解决世界级的分布式大数据难题;借助支付宝的生态和资源,把自己创新的技术推广到千家万户。部门技术氛围浓厚,40%有博士学位,超过一半同学有海外学习工作经验,适合有探索精神和挑战精神的人才,这里提供业内最先进的经验,专业的指导和优质的成长环境。


二、职位描述

面向蚂蚁集团大模型服务规模化部署需求,研发推理部署加速算法,解决前沿技术问题,从算法优化、软件优化、服务优化等不同角度,构建大模型推理部署平台,实现大模型低成本、高效率部署,支撑蚂蚁集团海量业务高吞吐高可用调用需求;参与技术创新如专利、论文的撰写,外部技术影响力交流等。

1、开发大语言模型/多模态模型轻量化算法,包括但不限于模型蒸馏、剪枝、量化以及低秩分解算法。

2、聚焦推理引擎加速工作,包括但不限于vLLM/TensorRTLLM等推理引擎适配、多步推理、并行计算

、attention加速、算子融合等。

3、负责服务接入优化,包括但不限于负载均衡、批处理(continous batching)、缓存加速、向量数据库寻优等。

4、参与统一部署框架、模型评测、提示词工程、接入网关等全流程开发工作,覆盖大模型服务链路核心节点,为业务提供零成本接入体验。


三、职位要求

1、教育背景优秀,计算机相关专业研究生;

2、有较好的计算机科学和算法基础,编程能力强;

3. 有自然语言/多模态大模型、深度序列模型、深度生成模型、图神经网络、知识图谱、数据挖掘、云计算系统、机器学习平台等相关技术或者落地经验者优先;

4、产出需在论文、开源、比赛成绩、项目上满足1条或者多条;

4a、算法研究背景在诸如ICML/ICLR/NIPS、ACL/EMNLP/KDD、CVPR/ICCV/ECCV等会议有相关论文发表者优先;

4b、应用系统研究背景在诸如WWW、SIGMOD/VLDB、ICSE/ASE、ATC/OSDI/ASPLOS、MLSys等会议有相关论文发表者优先;

4c、在顶会组织或者行业组织且有广泛影响的比赛KDDCup、Kaggle并取得前三好成绩者优先;

4d、有开源项目影响力或者参与过开源项目者优先;

4e、有作为主力推动或者参与的有较大影响的项目结果产出;

5. 在大厂有相关实习或工作经历者优先;

6. 较强的表达和沟通能力,工作认真、严谨、敬业。有很强的分析问题和解决问题的能力,有强烈的责任心和自驱力。


简历投递:huwen.hu@antgroup.com