高级安全技术开发工程师（大数据）

职位描述

1. SOC大数据后端架构设计与开发： - 主导自研SOC系统的架构：设计分布式数据管道（事件摄入、存储、查询）、分析引擎（规则匹配、关联分析），实现实时/异步威胁检测与自动化响应。 - 构建数据湖/仓库：开发高性能数据处理服务，支持日志聚合（多源格式如JSON/Syslog）、ETL管道，确保数据一致性与低延迟索引。 - 集成业界安全能力：开发适配层，将EDR（端点事件流、原始日志）、DLP（敏感数据事件）、遥测工具（eBPF/Osquery）接入SOC，支持零信任底座的数据馈送（如访问策略日志）。 2. 大数据处理与安全分析集成： - 处理海量安全数据：优化实时/批处理管道（Kafka流处理、Flink/Spark计算），支持TB级日志分析（如全球分支EDR事件、产线RFID访问遥测、物理门禁日志）。 - 开发威胁狩猎与响应模块：基于图数据库（Neo4j）实现关联分析（如杀伤链追踪）、异常检测引擎；集成DLP规则引擎。 3. SOC系统快速迭代与优化： - 独立响应安全运营需求：从需求到部署的全栈开发（如新警报规则引擎、仪表盘API），目标快速交付，支持敏捷SOC演进。 - 构建可扩展数据框架：开发统一API（gRPC/REST）与插件系统，便于未来集成新数据源（如CTI威胁情报、UEBA用户行为）；确保架构弹性（K8s容器化、水平扩展）。 - 系统性能运维：监控数据吞吐（ELK栈集成）、成本优化（数据压缩/分区），保障99.99%+可用性；处理全球数据合规（如数据驻留、匿名化）。 4. AI辅助大数据开发与智能提升： - 能够充分利用AI工具加速开发。 - 探索AI在SOC中的应用：集成机器学习引擎（如TensorFlow/Go bindings）实现智能告警（异常基线学习）、自动化响应（AI驱动隔离决策）、自然语言查询（LLM解析日志），提升威胁响应效率。 5. 跨团队协作与文档维护： - 与安全分析师、前端/SIEM团队协作，提供数据接口与可视化支持；参与SOC架构评审，推动大数据最佳实践（如数据合规遵循）。 - 输出高质量文档：数据流图（ERD/Diagram）、API规范（Swagger）、分析模型说明，确保团队高效协作。

职位要求

1. 计算机科学、软件工程、大数据/网络安全或相关专业，本科及以上学历优先。 2. 5年以上安全大数据/SOC相关项目；有自研SIEM/SOC或威胁分析平台经验优先，制造业日志处理背景优先。 3. 核心技术技能： - 开发语言：精通Go语言（并发数据流、Gin框架），具备快速开发大数据服务能力；熟悉Python/Scala作为数据分析辅助。 - 大数据处理：熟练Kafka/Flink/Spark实现实时/流批处理、Elasticsearch/OpenSearch高性能搜索；有设计数据湖（S3/Parquet存储、Hive分区）的实践经验。 - 安全数据集成：理解SOC流程，集成EDR/DLP/遥测API（如JSON事件解析、流式订阅）；熟悉加密数据处理（数据在用加密、访问日志审计）。 - 数据库与中间件：熟练运用PostgreSQL/InfluxDB时序数据、图数据库（Neo4j威胁图谱），熟悉消息队列（RabbitMQ）事件驱动安全响应。 - 部署与扩展：可以在多种场景中（云端、本地、容器、服务器等）部署大数据平台 - 独立全栈能力：技术全面，能从数据建模到前端集成（如Kibana插件）的全链路开发；熟悉DevOps（Terraform IaC for 数据基础设施）。 4. 驱动力强，能在小型团队中自主构建复杂系统，快速响应运营需求，注重数据隐私与安全-by-design；良好的沟通能力，解释大数据洞察给安全分析师；具备高效执行力，热爱AI时代数据创新，具备威胁情报意识与持续优化心态。 加分项 - SOC大数据深度：自研威胁平台经验，或ML增强SIEM（如自定义规则+AI融合）。 - AI扩展：使用LLM构建SOC聊天界面，或联邦学习隐私保护数据分析。