职位名称：大模型自动化评测-研究实习生 (Research Intern)

职位描述

我们正在寻找对大模型技术充满热情的研究实习生，专注于大模型（如LLM、多模态模型等）的评测集（Benchmark）构建和自动化评测能力开发。你将参与前沿的研究工作，帮助设计科学、全面的评测体系，推动大模型在实际应用中的优化和落地。

1. 评测集构建：a) 研究并设计大模型的评测任务和数据集，涵盖语言理解、推理能力、生成质量等多个维度。b) 收集、整理、标注、生成高质量的评测数据，确保数据的多样性和代表性。

2. 自动化评测能力开发：a) 参与开发自动化评测工具和框架，支持对大模型的高效评测。b) 设计和实现评测指标（Metrics），包括准确性、鲁棒性、效率等方面的量化评估。

3. 研究与创新：a) 跟踪最新的大模型评测方法和技术趋势，提出创新性的评测思路。b) 撰写技术文档或学术论文，推动研究成果向实际应用转化。

职位要求

1. 计算机科学、人工智能、数据科学、数学或相关专业的硕士/博士在读学生。

2. 熟练掌握Python及主流AI框架（PyTorch/TensorFlow），具有分布式训练/大模型微调经验。

3. 具备良好的数据分析能力，能够从复杂的数据中提取有价值的洞察。

4. 具备优秀的逻辑思维能力、问题解决能力和良好的沟通能力。

5. 有参与过数据集构建、模型评测或自动化测试相关项目的优先。

6. 发表过相关领域顶会论文或在GitHub有高质量开源项目的优先。

简历投递邮箱：yunting.wjt@antgroup.com