文本训练优化高级工程师

职位描述

1. 负责大模型预训练加速算法的研究与优化，涵盖MoE、多模态、创新架构等方向； 2. 针对MoE架构进行专项优化，包括Expert并行、负载均衡、通信优化等核心问题； 3. 研究并优化文本模型的训练效率； 4. 探索新型模型架构（如Linear Attention、Memory Layer等）的高效训练方案； 5. 设计并实现高效的并行策略（TP/PP/DP/EP/SP），提升大规模训练的吞吐量与资源利用率； 6. 与算法团队紧密协作，快速支持新模型架构的训练需求。

职位要求

1. 硕士及以上学历，计算机、人工智能等相关专业，3年以上相关工作经验； 2. 深入理解Transformer、MoE等主流架构原理； 3. 精通分布式训练原理，熟悉Megatron-LM、DeepSpeed、FSDP等主流训练框架； 4. 熟悉各类并行策略（Tensor Parallel、Pipeline Parallel、Expert Parallel、Sequence Parallel等）及其实现细节； 5. 熟练掌握PyTorch，具备CUDA/Triton kernel开发能力者优先； 6. 具备良好的论文阅读能力，能够快速跟进并复现前沿训练优化技术。 加分项 1. 有MoE模型训练优化经验，熟悉Megablocks、Tutel、FastMoE等MoE加速库； 2. 有文本大模型的训练经验； 3. 熟悉Flash Attention、Ring Attention等长序列训练优化技术； 4. 了解混合精度训练、Activation Checkpointing、ZeRO等显存优化技术； 5. 有CUDA/Triton算子开发经验，熟悉GPU性能调优工具（Nsight、NCU等）； 6. 有新型架构（Mamba、RWKV、RetNet等）训练优化经验。