AI推理部署实习工程师(具身智能方向)
职位描述
具身模型库工程化落地:负责将点云感知、视觉定位等传统算法,以及Pi0/Groot等VLA模型,在自研大算力芯片上进行推1. 理部署与性能调优,确保精度/延迟指标的统一出口。
2. 工具链开发与维护:参与对外发布的一键式训练-推理发版工具链建设,封装底层算子差异,保障模型在不同场景下的精度对齐和长期运行稳定性。
3. 模型轻量化加速:配合模型结构优化同学,落地W8A8、W4A16、W4A8等混合精度量化方案;针对Transformer架构和CNN架构进行算子融合与内存排布优化。
职位要求
1. 熟练掌握C++/Python,具备良好的代码习惯和性能分析能力(会使用perf、Nsight等工具)。
2. 熟悉ONNX、TensorRT、PyTorch部署链路,有实际将PyTorch模型转为TensorRT/SNPE等端侧引擎并跑通的经验。
3. 了解常见量化原理(PTQ/QAT),有实际处理过精度掉点问题。
加分项:
对VLA(视觉语言动作模型) 的推理架构有基础认知,了解KV Cache、Beam Search等推理优化手段。
有机器人、自动驾驶或AR/VR相关的嵌入式部署经验者优先。
投递