综合运行大数据分析和可视技术，对使用爬虫程序从互联网上采集到的某招聘网站招聘岗位数据进行多维度分析，并可视化展示分析结果。

使用技术栈：爬虫 + Hadoop + Spark + ECharts

本项目包含两个版本，其中v1是旧版本，v2是更新了爬虫程序的新版本。不过需要注意的是，招聘网站后台经常会变化，可能需要自行调整爬虫代码。

项目描述

综合运行大数据分析和可视技术，对使用爬虫程序从互联网上采集到的某招聘网站招聘岗位数据进行多维度分析，并可视化展示分析结果。

项目架构

项目流程

项目流程说明如下：

• 1. 数据采集：使用Python爬虫程序(或Java爬虫程序)；
• 2. 大数据清洗：使用Spark SQL进行数据清洗和整理；
• 3. 大数据分析：使用Spark SQL进行数据多维度分析；
• 4. 大数据迁移：使用Sqoop实现数据从HDFS导出到MySQL数据库；
• 5. 大数据可视化：使用Spring MVC + ECharts实现分析结果展示。

注：此项目可定制化改造，增加/修改如下功能

• 增加Spark ETL模块；
• 增加作业编排模块。
• 改用PySpark使用Python API进行数据清洗+分析，以及使用Python Flask + ECharts进行可视化展示；
• 改用其他BI工具可视化，如Tableau、Superset等。

适用对象

本项目适合以下人员学习使用：

• 已有Spark基础，需要掌握大数据完整开发和分析流程、积累大数据项目经验；
• 大数据毕业设计项目。

项目实施过程

本项目提供Python API和Java API两套实现代码，实现从某招聘网站采集所有或指定招聘信息。

使用Spark对大数据进行清洗，包括去重、错误数据处理、空值处理、属性转换、属性提取等数据预处理任务。

使用Spark SQL从多个维度对整理后的数据集进行分析。

使用Sqoop将分析结果导出到MySQL数据库中。

开发Spring MVC项目，使用ECharts作为可视化组件，展示分析结果。

项目源码下载

如果您是会员，并申请了终身会员权限，可下载本项目所有源码和测试数据。

项目视频讲解

请点击下方链接，选择要播放的讲解视频。

• 项目整体说明。（视频）
• 数据采集过程实现（视频）
• 数据清洗执行过程（视频）
• 数据分析（视频）
• 分析结果可视化（视频）

• 某招聘网站招聘大数据分析案例(Spark实现) (61次下载)
• 某招聘网站招聘大数据分析案例(Hive实现) (58次下载)
• 电商大数据-淘宝双十一美妆销售分析项目 (47次下载)
• 某招聘网站招聘大数据分析案例（PySpark实现） (37次下载)
• 某物流公司运输车辆超速实时检测案例 (27次下载)