这里可以发招聘信息吗?
诚意发一个,对版友们也是一个利好吧。
********************************分割线****************************************************
工作职责
我们正在寻找一位有经验的LLM推理与部署工程师,加入我们的团队,参与自研芯片与大语言模型(LLM)的打通工作。您将负责在自研芯片上优化和部署LLM,确保模型在硬件上的高效运行。
1. 模型推理与优化:负责LLM在自研芯片上的推理优化,提升模型运行效率。
2. 模型部署:将优化后的模型部署到自研芯片上,确保其稳定性和性能。
3. 量化与压缩:研究并实现模型的量化压缩技术,降低模型的计算和存储需求。
4. 工具链开发:使用TVM等工具进行模型编译和优化,开发适配自研芯片的工具链。
任职要求
1. LLM推理与部署经验:
- 熟悉transformers架构,熟悉相关的OP及其工程实现。
- 有大语言模型(LLM)的推理和部署经验,熟悉主流LLM模型(llama、Qwen等)的推理流程。
- 使用过主流的llm推理框架,如vLLM、SGlang、llama.cpp 等,熟悉其代码,掌握关键的性能优化技术(如KV cache管理等)。
- 熟悉模型量化压缩技术
2. 编程语言:
- 精通Python,具备扎实的编程基础,熟练使用pytorch等框架。
- 熟悉C++者优先,能够进行高性能代码的开发和优化。
3. 硬件与芯片知识:
- 对芯片架构有一定的了解,能够理解硬件对模型推理的影响。
- 有在自研芯片或特定硬件上部署模型的经验者优先。
4. 性能分析与调优:
- 具备性能分析和调优的能力,能够使用工具进行性能瓶颈分析并提出优化方案。
5. 团队合作与沟通:
- 具备良好的团队合作精神,能够与跨职能团队有效沟通和协作。
- 有较强的学习能力和问题解决能力,能够快速适应新技术和新环境。
加分项:
- 有推理部署开发经验者优先
- 熟悉AI编译器原理,有TVM、MLIR等框架使用经验者优先,不过也不强求。
工作经验不限,学历至少本科毕业。
薪资范围:3w~6w/month * 15,具体视候选人的情况而定。
有意者发送简历到 aisecurity@sensetime.com
--
FROM 124.126.230.*