PBCP2023-server服务器端
依据2023年高职大数据国赛要求配置的大数据竞赛练习环境
请注意:
本平台仅用于竞赛练习,不提供真实竞赛环境。 主要目的是提供竞赛所要求的离线处理组件、实时处理组件和模拟数据源等环境,便于练习竞赛任务。 但形式上与商业化、包装了各种管理功能和Web操作界面的各厂商竞赛系统不同, 本平台更注重提供基础的开源大数据处理组件和环境,具有高度的灵活性和实用性,方便参赛者在本地环境中进行练习和调试,并任意修改。
平台详情
PBCP2023(基于2022-2023赛季竞赛环境)服务器版本(2023年11月更新),其中主要大数据组件版本如下:
| 系统和大数据组件 | 版本 | 备注 |
|---|---|---|
| 操作系统 | CentOS 7 | 同PBCP2022 |
| JDK | 1.8 | 同PBCP2022 |
| 容器环境 | Docker-CE 20.10 | 同PBCP2022 |
| Hadoop | 3.1.2 | 2.7.7 -> 3.1.3 |
| Hbase | 2.2.3 | 新增组件 |
| Spark | 3.1.1 | 2.1.1 -> 3.1.1 |
| Flink | 1.14.0 | 1.10.2 -> 1.14.0 |
| Hive | 3.1.2 | 2.3.4 -> 3.1.2 |
| Kafka | 2.4.1 | 2.0.0 -> 2.4.1 |
| Maxwell | 1.29.0 | 新增组件 |
| Flume | 1.9.0 | 1.7.0 -> 1.9.0 |
| Redis | 6.2.6 | 4.0.1 -> 6.2.6 |
| MySQL | 5.7 | |
| ClickHouse | 21.9.4 | 新增组件 |