您好,猎头彬彬,合作国内外70+企业,基地北上广深武汉新加坡等
游戏,跨境贸易/电商/物流,云服务/基础软件,手机/芯片,私募量化,车企,社区分享,短视频,广告, ChatGPT
岗位描述:
我们关注模型训练系统,为深度学习模型训练和超大规模训练提供算力基座,包括但不限于以下职责:
1、支持百亿万亿规模的超大模型、GPU千卡互联的超大规模分布式训练架构,通过分布式并行/流水线/通信优化,消除大规模分布式训练瓶颈;
2、通过编译优化/专家优化,释放CPU/GPU/NPU等异构硬件协同的最大算力,旨在将硬件性能乐榨到极致,打造一流的执行引整,追求业界最领先的性能,
3、支持业界领先的GPT、AIGC、多模态模型在国内最大的电商场景的业务落地。
岗位要求
1.有扎实的工程算法基础,精通数据结构和常用算法,孰练掌握各种编译、调试、性能分析工具
2.有极佳的工程实现能力,精通C/C++、Python;
3.有大规模分布式系统开发和优化经验;有大模型分布式训练经验者优先;
4.有异构计算相关经验优先: 包括但不限于: GPU并发架构、CUDA编程、RDMA/NVLink技术、TVM/XLA编译优化;
5.精通tensorflow/pytorch/megatron/deepspeed等业界主流深度学习引擎内核实现者优先,精通xla/tvm等编译优化者优先
6.勤于动手,善于动脑,乐于挑战的同学优先。
所发职位不全,手上职位非常多,欢迎咨询!
微信号:Brylin1991
邮箱: herocanjob@163.com
--
FROM 122.189.211.*