农业大数据项目-基于hadoop的水果产量数据分析与可视化系统

基于hadoop进行了农业大数据系统平台的设计。首先python爬虫对数据进行抓取，后存储到hadoop/hdfs分布式文件系统然后通过ELT的方式将数据抽取到Hive数仓，使用Spark SQL + Hive数仓实现数据清洗、整理与分析，最后使用Spark SQL将分析结果导出到MySQL数据库，最后使用智慧大屏多维度呈现农业大数据相关分析结果。

使用的技术栈：Python爬虫 + Hadoop + Spark + Hive + DataGear

某招聘网站招聘大数据分析案例（PySpark实现）

本案例涉及数据的采集（使用爬虫程序）、数据集成、数据预处理、大数据存储、Hive数据仓库应用、大数据ELT实现和大数据结果展现等全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop 3、Flume、PySpark 3.x.x、Hive、Flask Web框架、ECharts组件和PyCharm、Zeppelin Noebook等系统和软件的使用方法。通过本项目，将有助于读者综合运用主流大数据技术以及各种工具软件，掌握大数据离线批处理的全流程操作。

使用的技术栈：爬虫 + HDFS + PySpark + Hive数仓 + Flask框架(jinja2) + ECharts

电商大数据-淘宝双十一美妆销售分析项目

某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据，所以做了脱敏处理，数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。

使用技术栈：Hadoop + Hive + Spark + Azkaban + Spring MVC + ECharts

交通大数据分析项目

综合运行大数据分析和可视化技术，对某城市地面交通刷卡数据（公交及地铁）进行OD分析，以找出客流潮汐特征，并结合经纬度图坐标在地图上展示OD线路。

使用技术栈：Hadoop + Hive数仓 + Spark SQL + Superset

某物流公司运输车辆超速实时检测案例

综合运行Flink实时数据处理技术，对Kafka收集到的运输车辆实时监控数据进行分析，运用模式检测及时发现超速车辆，并在服务端通过仪表盘实时告警。

使用技术栈：数据源 + Kafka + Flink + Spring MVC + WebSocket + ECharts

某招聘网站招聘大数据分析案例(Hive实现)

综合运行大数据分析和可视技术，对使用爬虫程序从互联网上采集到的某招聘网站招聘岗位数据进行多维度分析，并可视化展示分析结果。

使用技术栈：Python爬虫 + Hadoop + Hive + ECharts

某招聘网站招聘大数据分析案例(Spark实现)

综合运行大数据分析和可视技术，对使用爬虫程序从互联网上采集到的某招聘网站招聘岗位数据进行多维度分析，并可视化展示分析结果。

使用技术栈：爬虫 + Hadoop + Spark + ECharts

本项目包含两个版本，其中v1是旧版本，v2是更新了爬虫程序的新版本。不过需要注意的是，招聘网站后台经常会变化，可能需要自行调整爬虫代码。