大数据开发/数据工程师
Data Engineer —— 大数据开发工程师负责搭建并维护从数据采集、清洗、加工、存储到服务的数据链路，让公司的海量数据能被高效、准确、及时…
一线城市应届 15-25K/月，大厂 SP 可到 28K，普通公司 10-18K，外包/数据服务商 8-14K；3 年经验 20-35K/月；5 年 30-55K/月，数据平台负责人可到 60K+。实时计算、湖仓一体、数据治理方向溢价明显高于传统 ETL。二线城市打 6-7 折。整体略低于后端与算法，但稳定性好、需求面广，几乎每个行业都在招。
🧭岗位画像
大数据开发工程师负责搭建并维护从数据采集、清洗、加工、存储到服务的数据链路，让公司的海量数据能被高效、准确、及时地使用。它是数据价值链的底座：上游对接业务系统与埋点日志，下游服务算法训练、报表分析、实时推荐与风控。与后端开发的区别在于，大数据岗面对的是吞吐量而非并发请求，关注的是数据一致性、时效性与成本，写的是批处理和流式任务而不是 CRUD 接口；与数据分析师的区别在于，大数据岗负责把数据加工好，分析师负责从中挖出结论。过去这个岗位被戏称为调 Hadoop 的，如今已演变为 Flink 实时链路、湖仓一体、数据治理与成本优化的复合型工程岗，是数字化转型的核心角色。
📅日常工作：这份工作每天具体在干什么
这是判断自己适不适合最关键的依据。
- 上午看昨天离线任务的血缘与产出，检查调度系统里有没有失败或延迟的 DAG，把凌晨报错的 Hive/Spark 任务重新拉起并定位数据倾斜
- 写或改 Flink 流处理作业，处理 Kafka 里的埋点数据，处理乱序、迟到、Exactly-Once 语义和状态后端配置
- 和业务方对接需求，确认新报表口径，讨论指标定义是否与已有口径冲突，避免同一个 GMV 算出三个数
- 优化慢任务：把跑 4 小时的 Spark 作业从数据倾斜、shuffle、并行度上调整到 40 分钟，写出优化前后对比
- 维护数仓分层（ODS/DWD/DWS/ADS），按维度建模理论整理表结构，处理缓慢变化维与增量更新
- 做数据质量校验，配置空值率、主键唯一性、波动阈值告警，发现上游数据缺失第一时间通知数据源方
- 在 Doris/ClickHouse/StarRocks 上为 BI 和服务端建高效物化视图与查询表，优化即席查询响应速度
- 排查数据不一致：同一指标离线与实时对不上，逐步核对口径、时间窗、去重逻辑，直到两边收敛
- 参与数据治理专项，清理冗余表、补充元数据与血缘、下线无人使用的任务，控制存储与计算成本
- 和算法、后端同学对齐特征与指标供给，保证离线特征与线上特征一致性，支持模型训练与在线服务
🎯核心要求（硬门槛）
- 必须：精通 SQL，能写复杂多表关联、窗口函数、行列转换，理解执行计划与性能优化
- 必须：熟练掌握至少一门编程语言（Java/Scala/Python），能写生产级数据处理代码
- 必须：熟悉 Hadoop 生态（HDFS、YARN、Hive、MapReduce），理解分布式存储与计算原理
- 必须：掌握 Spark，理解 RDD/DataFrame、宽窄依赖、shuffle、内存管理、数据倾斜处理
- 必须：掌握 Flink 实时计算，理解时间语义、Watermark、Checkpoint、状态管理与 Exactly-Once
- 必须：熟悉消息队列（Kafka）与 OLAP 引擎（ClickHouse/Doris/StarRocks）的使用与选型
- 必须：理解数仓分层与维度建模（星型/雪花模型），能设计可复用的数据模型
- 加分：有湖仓一体（Iceberg/Hudi/Delta Lake）、数据治理、元数据管理经验
- 加分：懂 Docker/K8s 上跑大数据任务、会调优集群资源与计算成本，有数据平台建设经验
- 加分：熟悉 DBT、Airflow/DolphinScheduler 等调度与建模工具
🧱技术栈地图
📶能力分档：初级 / 中级 / 高级
初级会写简单查询；中级能手写复杂窗口函数并优化执行计划；高级能主导数仓分层与指标体系设计
怎么练：在真实数据上写复杂 SQL，读《SQL 进阶教程》，用 EXPLAIN 分析并优化慢查询
初级会写 Hive SQL 任务；中级能优化 Spark 作业与数据倾斜；高级能设计高吞吐低成本的计算架构
怎么练：用 Spark 处理亿级数据，制造数据倾斜并亲手调优，记录每个参数的收益
初级会写 Flink 简单作业；中级能处理乱序、状态与一致性；高级能设计端到端 Exactly-Once 的实时链路
怎么练：用 Flink 搭建 Kafka 到 ClickHouse 的实时看板，处理迟到数据与断点续传
初级知道元数据概念；中级能做数据质量监控与血缘分析；高级能建立治理规范并推动跨团队落地
怎么练：给团队搭一套数据质量看板，梳理核心表血缘，推动下线低价值任务
初级会调并行度；中级能定位 shuffle 与倾斜瓶颈；高级能整体规划存储格式、压缩与集群成本
怎么练：对同一份数据用不同存储格式与分区策略做对比实验，量化成本下降比例
初级照口径写数；中级能识别口径冲突并统一；高级能设计指标体系并支撑业务决策
怎么练：参与指标口径评审，复盘因口径不一致导致的数据事故
📈成长路径与薪酬变化
| 阶段 | 薪酬参考 | 做什么 · 考核什么 |
|---|---|---|
| 大数据开发工程师（校招-2 年） | 一线 15-25K/月，二线 8-15K/月 | 负责数据采集、ETL 开发、报表支撑与任务维护，考核点是任务稳定性、交付及时性与数据准确性 |
| 高级数据工程师（2-5 年） | 一线 25-40K/月 | 独立负责一条数据链路或一个域，做实时链路与性能优化，考核点是链路 SLA、成本优化与业务支撑效果 |
| 数据平台专家/数仓负责人（5-8 年） | 一线 40-65K/月 | 主导数据平台架构、湖仓一体与治理体系，带小队，考核点是平台能力、治理成效与团队产出 |
| 数据架构师/数据总监（8 年+） | 一线 60-100K/月 | 制定公司数据战略与技术选型，推动数据资产化与数据驱动决策，考核点是数据对业务的战略价值 |
💼面试考什么
- Hadoop 原理：HDFS 读写流程、副本机制、YARN 资源调度、MapReduce shuffle 过程
- Spark：宽窄依赖与 DAG、shuffle 机制与调优、内存模型、数据倾斜的多种解决方案、RDD 与 DataFrame 区别
- Flink：时间语义与 Watermark、状态管理、Checkpoint 与 Savepoint、Exactly-Once 实现、反压处理、窗口类型
- Kafka：分区与副本、ISR 机制、消息不丢不重、消费者组 rebalance、顺序性保证
- 数仓建模：星型与雪花模型、拉链表、缓慢变化维、数仓分层设计与指标体系建设
- SQL 手写：连续登录天数、TopK、行列转换、窗口函数应用、去重与留存计算
- OLAP：ClickHouse 引擎原理与物化视图、Doris 架构、如何选型、查询优化思路
- 数据质量与治理：如何做数据校验、血缘追踪、口径统一、上游数据变更应对
- 场景设计：设计一个实时大屏、设计用户行为漏斗、如何保证离线和实时指标一致
🗺️从零到能上岸：学习路线
- 第 1 步：打牢 SQL，系统学窗口函数与复杂查询，在 LeetCode 数据库题和牛客 SQL 篇上刷题
- 第 2 步：学 Hadoop 生态，跟尚硅谷/黑马的大数据课程，本地搭伪分布式集群，跑通 HDFS 与 MapReduce
- 第 3 步：学 Hive 与数仓建模，读《大数据之路》，自己设计一遍电商数仓的分层与表结构
- 第 4 步：学 Spark，跟《Spark 快速大数据分析》与官方文档，用 Spark 处理公开数据集并做调优实验
- 第 5 步：学 Flink 实时计算，读官方文档与《Flink 基础教程》，搭建 Kafka+ Flink +ClickHouse 实时链路
- 第 6 步：学 Kafka 与 OLAP，理解消息队列与列存引擎原理，做一次完整的实时看板项目
- 第 7 步：做完整数据平台项目，包含采集、调度（DolphinScheduler）、质量监控与血缘，部署到云服务器
- 第 8 步：补齐工程能力，学 Docker/K8s 与 Java/Scala，把数据任务容器化并接入 CI/CD
- 第 9 步：沉淀与输出，写数据仓库与实时链路的复盘博客，参与开源社区，准备面试八股与 SQL 手写
🛠️能撑住简历的项目
项目 1
电商实时数仓：Kafka 采集埋点，Flink 实时清洗与聚合，ClickHouse 存查询，实现实时 GMV 与漏斗看板，说明延迟与吞吐
项目 2
离线数仓建设：基于公开数据集搭建 ODS-DWD-DWS-ADS 分层，用 DolphinScheduler 调度，附数据质量规则与血缘图
项目 3
用户行为分析平台：埋点采集+实时/离线双链路，实现留存、路径、漏斗分析，体现口径一致性与数据治理
项目 4
湖仓一体实践：用 Iceberg/Hudi 做增量入湖，对比传统 Hive 在更新、查询与成本上的差异
项目 5
数据质量监控系统：自研或基于开源工具做空值率、波动、唯一性校验，附一次真实拦截脏数据的案例
⚖️真实处境：优势、代价与行业趋势
- 需求面广，互联网、金融、制造、政企都在招，跨行业流动性强
- 数据是长期资产，经验越积累越值钱，职业稳定性好
- 技术栈清晰成熟，学习路径明确，上手门槛低于算法岗
- 能完整掌握数据全链路，便于转向数据平台、数据治理或架构方向
- 大量时间在做 ETL 与排障，工作成就感相对较低，容易被当成工具人
- 部分公司把大数据岗外包化，待遇与成长空间受限
- 半夜任务失败要爬起来处理，值班压力不小
- 入门门槛在被 Flink 实时链路与云原生抬高，只会调 Hadoop 的会逐渐被淘汰
大数据岗已从早期调 Hadoop、写 ETL 的阶段，全面转向实时计算、湖仓一体与数据治理。Flink 实时链路和湖仓一体成为标配，单纯会写 Hive SQL 的人竞争力快速下降。同时数据治理与成本优化成为硬需求，企业更在意数据能不能被信任、存储与计算花得值不值。AI 提升了数据加工效率，但对口径统一、质量保障这些判断性工作替代有限。整体判断：岗位需求稳健但要求显著抬高，实时与治理能力是关键分水岭，纯 ETL 岗将继续被压缩。