大数据技术基础

📖这门课到底讲什么

大数据技术基础讲授数据规模超出单机处理能力后的技术体系：分布式文件系统 HDFS 与计算框架 MapReduce 与 Spark 的内存计算模型、数据仓库与分层建模（ODS、DWD、DWS、ADS 与维度建模）、SQL 化查询引擎（Hive、Spark SQL）与列式存储（Parquet、ORC）、流式处理（Kafka、Flink 与窗口计算）、资源调度（YARN 与容器化）、数据治理与质量，以及典型的数据分析链路与调优思路。学完你应能把一个批处理与一个流处理任务从数据接入跑到结果输出，理解分区与并行度与数据倾斜对性能的影响，并能设计一个具备数据分层的中小型数据仓库。

🎯为什么必须学好

数据开发、数据仓库、算法工程与推荐系统的岗位都要求掌握 Hadoop 与 Spark 生态，面试常问 MapReduce 与 Spark 的区别、Spark 为什么快、数据倾斜如何解决、小文件问题如何处理、Flink 与 Spark Streaming 的差别。企业中的报表、指标、用户画像、特征工程几乎都建立在这套体系上，实习中能写 SQL 并调优的候选人比只会本地 pandas 的候选人有明显优势。它是把数据处理能力从单机扩展到集群的关键一步。

📌核心知识清单

• 大数据概述与生态：数据规模特征、批处理与流处理与交互式分析、Hadoop 生态组件（HDFS、YARN、MapReduce、Hive、HBase）与 Spark 生态的关系
• HDFS 原理：NameNode 与 DataNode、块与副本策略、读写流程、小文件问题与合并方案、故障恢复
• MapReduce 模型：Map 与 Shuffle 与 Reduce 阶段、分区与排序与合并、Combiner 的作用、WordCount 到 Join 的实现思路、任务调优与推测执行
• Spark 核心：RDD 与依赖关系与 DAG、窄依赖与宽依赖与 Stage 划分、惰性求值与缓存策略、Shuffle 机制与调优、内存管理与序列化
• Spark SQL 与数据仓库：DataFrame 与 Dataset、Catalyst 优化器与谓词下推、Hive 与元数据、数据仓库分层建模与维度建模（星型与雪花模型）、缓慢变化维
• 存储与格式：列式存储（Parquet、ORC）与行式存储对比、压缩编码、分区分桶与数据组织、数据湖与湖仓一体概念
• 流计算：Kafka 的分区与消费组与位移管理、Spark Streaming 与 Structured Streaming、Flink 的事件时间与水位线、窗口与状态与精确一次语义
• 数据治理与工程化：数据质量校验与监控、元数据与血缘、调度系统（Airflow、DolphinScheduler）、资源调度与队列、数据安全与权限、典型性能问题（数据倾斜、小文件、GC 与内存溢出）的排查方法

✍️怎么学（可执行步骤）

1. 先跑通再深挖：用 Docker 或虚拟机搭一个三节点 Hadoop 与 Spark 集群（或用官方镜像），完成 HDFS 上传下载与一个 WordCount 作业，再逐步加 Hive 与 Spark SQL
2. 主线教材用《Hadoop权威指南》或林子雨《大数据技术原理与应用》，配合官方文档，重点是 HDFS 与 MapReduce 与 Spark 三大块
3. 用公开数据集做完整项目：下载一份百万行以上的日志或电商数据，用 Spark 完成清洗、聚合与指标计算，再用 Spark SQL 输出报表并对比优化前后耗时
4. 做一次调优实验：人为制造数据倾斜（如某个 key 占比极高），观察任务耗时分布，再用加盐打散或广播小表方式优化，记录前后对比

📚推荐教材与书籍

🎬视频课程 / 公开课

🌐网站与文档

🐙GitHub 开源资料

🧪动手实践任务

🧾考试与面试