这里可以发招聘信息吗？
诚意发一个，对版友们也是一个利好吧。

********************************分割线****************************************************

工作职责
我们正在寻找一位有经验的LLM推理与部署工程师，加入我们的团队，参与自研芯片与大语言模型（LLM）的打通工作。您将负责在自研芯片上优化和部署LLM，确保模型在硬件上的高效运行。

1. 模型推理与优化：负责LLM在自研芯片上的推理优化，提升模型运行效率。
2. 模型部署：将优化后的模型部署到自研芯片上，确保其稳定性和性能。
3. 量化与压缩：研究并实现模型的量化压缩技术，降低模型的计算和存储需求。
4. 工具链开发：使用TVM等工具进行模型编译和优化，开发适配自研芯片的工具链。



任职要求
1. LLM推理与部署经验：
   - 熟悉transformers架构，熟悉相关的OP及其工程实现。
   - 有大语言模型（LLM）的推理和部署经验，熟悉主流LLM模型（llama、Qwen等）的推理流程。
   - 使用过主流的llm推理框架，如vLLM、SGlang、llama.cpp 等，熟悉其代码，掌握关键的性能优化技术（如KV cache管理等）。
   - 熟悉模型量化压缩技术

2. 编程语言：
   - 精通Python，具备扎实的编程基础，熟练使用pytorch等框架。
   - 熟悉C++者优先，能够进行高性能代码的开发和优化。

3. 硬件与芯片知识：
   - 对芯片架构有一定的了解，能够理解硬件对模型推理的影响。
   - 有在自研芯片或特定硬件上部署模型的经验者优先。

4. 性能分析与调优：
   - 具备性能分析和调优的能力，能够使用工具进行性能瓶颈分析并提出优化方案。

5. 团队合作与沟通：
   - 具备良好的团队合作精神，能够与跨职能团队有效沟通和协作。
   - 有较强的学习能力和问题解决能力，能够快速适应新技术和新环境。

加分项：
- 有推理部署开发经验者优先
- 熟悉AI编译器原理，有TVM、MLIR等框架使用经验者优先，不过也不强求。

工作经验不限，学历至少本科毕业。
薪资范围：3w~6w/month * 15，具体视候选人的情况而定。
有意者发送简历到 aisecurity@sensetime.com
--
FROM 124.126.230.*