课程章节 返回课程首页

• Ch01 Spark架构与集群搭建
  • Spark和PySpark架构原理
  • 安装和配置Spark集群
  • 配置和使用Spark历史记录服务器
  • 使用pyspark shell进行交互式执行 VIP
  • 使用spark-submit命令提交Spark作业程序 VIP
• Ch02 开发和部署PySpark程序
  • 使用PyCharm IDE开发_本地开发和测试 VIP
  • 使用PyCharm IDE开发_远程测试和集群部署 VIP
  • 使用Zeppelin Notebook进行交互式分析 VIP
  • 使用Jupyter Notebook进行交互式分析 VIP
  • 使用PySpark
• Ch03 PySpark核心编程
  • 理解数据抽象RDD
  • RDD编程模型
  • 创建RDD的三种方法
  • RDD上的Transformation操作
  • RDD上的Action操作
  • RDD上的描述性统计操作
  • Pair RDD上的操作
  • 持久化RDD
  • 深入理解RDD数据分区
  • RDD共享变量
  • RDD数据可视化
  • RDD编程案例_合并小文件
  • RDD编程案例_二次排序实现
  • RDD编程案例_Top N实现
  • RDD编程案例_电影评分数据集分析
• Ch04 PySpark SQL编程(初级)
  • PySpark SQL数据抽象
  • PySpark SQL编程模型 VIP
  • PySpark SQL模式和对象 VIP
  • PySpark SQL创建DataFrame VIP
  • PySpark SQL操作DataFrame VIP
  • PySpark SQL存储DataFrame VIP
  • 临时视图与SQL查询 VIP
  • 缓存DataFrame VIP
  • DataFrame可视化 VIP
  • PySpark SQL编程案例 VIP
• Ch05 PySpark SQL编程(高级)
  • PySpark SQL内置标量函数 VIP
  • PySpark SQL聚合和透视函数 VIP
  • PySpark SQL高级分析函数 VIP
  • PySpark SQL用户自定义函数(UDF) VIP
  • DataFrame连接和连接策略 VIP
  • PySpark SQL读写Hive表 VIP
  • PySpark SQL案例_电商数据集分析 VIP
  • PySpark SQL案例_电影观众分布统计 VIP
• Ch06 PySpark结构化流处理(初级)
  • PySpark Streaming介绍 VIP
  • PySpark结构化流简介 VIP
  • PySpark结构化流核心概念 VIP
  • 使用流数据源(1) VIP
  • 使用流数据源(2)-Kafka VIP
  • 流DataFrame上的常用操作 VIP
  • 双流DataFrame的join连接 VIP
  • 使用数据接收器(1) VIP
  • 使用数据接收器(2)-Kafka VIP
  • 深入研究输出模式 VIP
  • 深入研究触发器 VIP
• Ch07 PySpark结构化流处理(高级)
  • 事件时间和窗口聚合 VIP
  • 深入理解和应用水印技术 VIP
  • 处理重复的流数据 VIP
  • 容错和检查点 VIP
  • 结构化流案例—运输车辆超速实时检测 VIP
• ch08 PySpark大数据分析综合案例
  • 综合项目_大数据分析综合案例