招聘社招正岗1名,校招正岗1名,实习生1~2个,主要是做大模型相关,有分布式深度学习训练,大语言模型,SFT,RLHF,多模态,MOE等相关经验和研究成果的优先。
(备注:本Lab有充足的GPU算力集群)
联系方式:
wangpeng31@lenovo.com
15101155981
--------------------------------------------------------------------------------------------------
附社招正岗JD:
职位:大模型分布式训练研究员
岗位职责:
负责深度学习大模型的分布式训练系统的架构设计与开发,优化模型训练效率和资源利用率;
研究并实现基于GPU等高性能计算平台的大规模深度学习模型并行训练算法;
对现有深度学习框架和分布式训练框架(如PyTorch、TensorFlow、DeepSpeed、Colossal-AI)进行深度定制和扩展,以满足大规模模型训练的需求;
与算法团队紧密合作,解决在超大规模数据集上模型训练过程中的性能瓶颈问题;
设计并实现模型训练监控系统,包括但不限于训练进度、资源占用情况、训练效果可视化等;
持续跟踪最新的分布式训练技术发展趋势,将前沿研究成果应用于实际项目中。
任职要求:
计算机科学或相关专业硕士及以上学历,具有3年以上深度学习领域工作经验,有大型互联网公司或者AI实验室工作经验者优先;
熟练掌握至少一种深度学习框架和分布式训练框架(如PyTorch、TensorFlow),并具备丰富的模型开发与训练经验;
精通分布式系统原理,熟悉常见的分布式计算框架(如MPI、DeepSpeed、Colossal-AI、OneFlow),有大规模并行计算和分布式训练系统开发经验;
具备良好的算法基础,对深度学习模型训练优化有深入理解和实践经验,包括但不限于梯度压缩、通信优化、异步训练等;
有大模型分布式训练理论和实践经验,熟悉国内外主流基础大模型;
具备优秀的分析和解决问题的能力,能够独立进行复杂问题定位与解决;
对于计算机体系结构、操作系统、网络编程等相关知识有一定理解;
英语读写能力强,能快速阅读英文文献和技术文档,追踪国际最新研究动态和技术趋势。
加分项:
在顶级会议或期刊(如NIPS, ICML, ICLR, JMLR等)发表过关于分布式训练或深度学习相关论文;
参与过开源分布式训练项目,并有显著贡献。
--
FROM 221.218.68.*