工作职责
岗位职责
1. 负责算力平台大规模分布式推理服务框架和组件开发，保障推理效率、吞吐量等指标
2. 负责算力平台与vLLM、SGLang等框架和工具链的集成和性能优化
3. 研究并引入前沿分布式推理技术，如PD分离等，推动平台升级
任职资格
1. 硕士学历，计算机、人工智能、高性能计算或相关专业，3年以上AI平台开发经验
2. 熟练掌握大模型分布式推理技术、主流大模型架构、RDMA通信的基本原理并有实践经验
3. 熟练使用分布式推理框架，如vLLM、SGLang等，有框架移植、改进或功能集成经验有优先
4. 了解GPU虚拟化技术
5. 优秀的跨部门沟通和协作能力
6. 有大规模推理集群的建设和优化经验优先
