课程章节 返回课程首页

• Ch01 Spark架构与集群搭建
  • Spark概述
  • Spark技术栈
  • 在Mac上安装Apache Spark VIP
  • 在Windows上安装Apache Spark VIP
  • 设置Spark on YARN VIP
  • Spark核心组件和架构
  • Spark程序部署模式
  • Spark资源调度策略
  • 实验：安装和配置Spark
  • 实验：使用Spark Shell
  • 实验：使用spark-submit提交Spark作业
  • 参考：Spark Python可支持性矩阵 VIP
• Ch02 开发和部署Spark程序
  • 使用IntelliJ IDEA开发Spark SBT应用程序
  • 使用IntelliJ IDEA开发Spark Maven应用程序
  • 使用Zeppelin进行交互式分析
• Ch03 Spark核心编程
  • 通过Spark Web UI理解Spark程序执行 VIP
  • 示例：读取多个文本文件到单个RDD中 VIP
  • 示例：加载CSV文件到RDD中 VIP
  • 理解RDD及RDD编程模型
  • 创建RDD
  • RDD上的Transformation和Action
  • RDD Transformation操作
  • RDD的集合运算
  • RDD Action操作
  • RDD上的描述性统计操作
  • Key-Value Pair RDD
  • 数据分区和自定义数据分区
  • 使用共享变量-广播变量
  • 使用共享变量-累加器
  • Spark RDD编程案例
  • RDD案例_电影评分数据集分析
• Ch04 Spark SQL编程
  • 示例：使用Spark查找中位数和分位数 VIP
  • 示例：读写XML文件到DataFrame VIP
  • 示例：如何pivot和unpivot DataFrame VIP
  • Spark SQL编程模型
  • 理解SparkSession
  • 构造DataFrame-简单创建方式
  • 构造DataFrame-从RDD创建
  • 构造DataFrame-加载外部数据源
  • 操作DataFrame
  • 存储DataFrame
  • 临时视图与执行SQL查询
  • Spark SQL编程案例1_单词计数
  • Spark SQL编程案例2_电商用户评论数据集分析
  • Spark SQL编程案例3_航班延误数据集分析 VIP
• Ch05 Spark SQL编程(高级)
  • 示例_数据缺失值处理
  • 示例_数据整合、清洗与转换 VIP
  • 案例_统计连续三周登录的用户数 VIP
  • Spark DataFrame行转列实现 VIP
  • Spark SQL实现分区表的分区覆盖 VIP
  • Spark SQL内置函数
  • Spark SQL聚合函数
  • Spark SQL高级分析函数
  • 用户自定义函数(UDF)
  • Spark SQL编程案例1_电商数据分析
  • Spark SQL编程案例2_MovieLens数据集分析
  • 案例_Spark SQL实现数据ETL到Hive ODS VIP
  • 案例_银行客户数据分析
  • Spark读写Hive中文列名乱码问题 VIP
• Ch06 Spark Streaming流处理
• Ch07 Spark结构化流处理
  • Spark结构化流编程模型
  • Spark结构化流核心概念
  • 使用数据源_1
  • 使用数据源_2_kafka
  • 结构化流DataFrame操作
  • 使用数据接收器Data Sink
• ch08 Spark结构化流(高级)
  • 事件时间和窗口聚合
  • 使用水印
  • 复杂模式识别-状态处理
  • 处理重复流数据
  • 案例_运输公司车辆超速实时监测 VIP
  • 案例_股票交易实时仪表盘程序 VIP
• 综合项目实训
  • 2021-2022年高职大数据竞赛-赛题内容
  • 2021-2022年高职大数据竞赛-赛题剖析
  • 2021-2022年高职大数据竞赛-离线数据抽取 VIP
  • 2021-2022年高职大数据竞赛-离线数据统计 VIP
  • 2021-2022年高职大数据竞赛-数据采集与实时计算 VIP
  • 2021-2022年高职大数据竞赛-数据可视化
  • 某招聘网站招聘大数据分析案例