2024-2025学年广东省高职“大数据应用开发”赛项样题4-任务D:数据采集与实时计算_解析

环境说明:

补充说明:选手自行启动相关服务,建议使用flink 本地模式运行任务,若虚拟机资源提示不足,可在idea 编写、测试和打包好程序后,关闭idea 编辑器,再进行flink run 本地模式运行任务。

点击以下链接,快速跳转到相应内容:

子任务一:实时数据采集

任务描述

1、在虚拟机bigdata-spark 使用Flume 采集/opt/data 目录下实时日志文件中的数据( 如果没有权限, 请执行授权命令chmod 777/opt/data/ChangeRecord),将数据存入到Kafka 的Topic 中(Topic 名称分别为ChangeRecord、ProduceRecord 和EnvironmentData,分区数为4) ......

......

抱歉,只有登录会员才可浏览!会员登录


《Spark原理深入与编程实战》