PBCP2022服务器端
依据2022年高职大数据国赛要求配置的大数据竞赛练习环境
请注意:
本平台仅用于竞赛练习,不提供真实竞赛环境。 主要目的是提供竞赛所要求的离线处理组件、实时处理组件和模拟数据源等环境,便于练习竞赛任务。 但形式上与商业化、包装了各种管理功能和Web操作界面的各厂商竞赛系统不同, 本平台更注重提供基础的开源大数据处理组件和环境,具有高度的灵活性和实用性,方便参赛者在本地环境中进行练习和调试,并任意修改。
平台详情
PBCP2022(基于2021-2022赛季竞赛环境)服务器版本,其中主要大数据组件版本如下:
| 系统和大数据组件 | 版本 |
|---|---|
| 操作系统 | CentOS 7 |
| JDK | 1.8 |
| 容器环境 | Docker-CE 20.10 |
| Hadoop | 2.7.7 |
| Spark | 2.1.1 |
| Flink | 1.10.2 |
| Hive | 2.3.4 |
| Kafka | 2.0.0 |
| Sqoop | 1.4.7 |
| Flume | 1.7.0 |
| Redis | 4.0.1 |
| MySQL | 5.x.x |
| Zookeeper | 3.4.6 |