Key skills
PythonAIPlaywrightSelenium
About this role
大模型爬虫逆向工程师-MiMo北京社招全职职位 ID：A133586职位描述1. 结合大模型应用需求，设计和优化高效、智能化的爬虫系统，进行多源数据采集。
2. 具备分布式、高并发系统经验，能突破各类技术限制实现稳定高效的数据获取。拥有扎实的Web/APP逆向工程能力，可完成复杂的定向采集任务
3. 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。
4. 结合大模型场景，自动化处理反爬机制变化，并提供灵活的技术解决方案。
5. 与大模型研发团队紧密合作，确保爬虫采集的数据能够有效支持模型训练与应用。
6. 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。职位要求1. 本科及以上学历，计算机科学、人工智能、网络安全等相关专业。
2. 3年以上爬虫开发及逆向工程经验，有大模型或AI相关领域的爬虫应用经验者优先。
3. 精通Python或其他编程语言，熟悉爬虫框架（如Scrapy、Selenium、Playwright等）。
4. 熟悉大模型训练和数据处理流程，能够根据模型需求调整数据抓取策略。
5. 熟悉常见网络协议（HTTP/HTTPS）和接口抓取，能够对复杂数据进行高效提取和清洗。
6. 具备良好的分析能力和解决问题的能力，能够应对复杂的反爬挑战。
加分项：
1. 有大规模数据抓取与处理经验，尤其是针对大模型训练数据的采集和优化。
2. 熟悉数据加密与解密技术，能够破解复杂的加密算法。
3. 具备AI或大模型领域的技术背景，能够理解和支持模型数据需求。
我们提供：
1. 具有竞争力的薪资待遇与丰富的福利。
2. 与顶尖AI团队合作的机会，参与大模型应用开发与优化。
3. 灵活的工作环境与技术创新的空间。
4. 完善的职业发展和培训机会，助力技能提升和成长。
投递