马里兰大学（University of Maryland, College Park）李昂教授实验室（https://www.ang-li.com/）现面向对大语言模型、联邦学习和边缘计算领域相关研究方向感兴趣的本科生与硕士研究生开放科研实习机会。

研究方向：

●        1. 大语言模型联邦学习优化：设计更高效、更安全的联邦学习算，探索新的大模型联邦学习应用场景。

●        2. 大语言模型在嵌入式设备上的部署及训练：在计算资源受限的情况下，优化大语言模型的推理、训练过程。

●        3. 探索更高效的模型架构：通过修改模型结构或者优化推理过程来让基于transformer架构的稠密模型和混合专家模型（MoE）更高效。

●        4. 多模态模型在医疗领域的应用，包括但不限于医疗图像，电子病例，基因组数据等。

我们期待的学生：

●        具备机器学习、深度学习或分布式系统相关知识，熟悉大语言模型的基本原理以及技术。

●        熟练掌握Python及相关深度学习框架（如PyTorch、TensorFlow）

●        有较强的数学基础，尤其是优化算法、概率统计与线性代数

●        良好的沟通和协作能力，愿意探索解决前沿技术中的挑战

●        熟悉c++,cuda；熟悉llm相关框架，如deepspeed、megatron、transformers、llama.cpp、vllm；有分布式系统开发经验者优先；有大型代码库开发经验者优先。

●        熟悉transformers库及Transformer架构；熟悉常见的MoE架构；了解量化、剪枝、模型合并等模型压缩及加速方法；关注LLM社区最新发展。

如何申请：

请发送个人简历、成绩单及一封简短的研究兴趣陈述到李昂教授的邮箱：angliece@umd.edu。或联系北大陈翔老师（xiang.chen@pku.edu.cn)标题请注明科研实习申请。