2023浙江省赛样题解析-数据采集:实时数据采集_子任务1
任务描述
1、 在主节点使用Flume采集实时数据生成器XXXXX端口的socket数据,将数据存入到Kafka的Topic中,使用Kafka自带的消费者消费Topic中的数据,查看Topic中的前1条数据的结果,将查看命令与结果完整的截图粘贴至对应报告中;
任务分析
根据题意,需要实现的任务流程如下:
数据生成器 => Flume Source => Kafka Sink => Kafka消费者脚本
因此,需要完成以下几个任务:
- 创建Kafka Topic;
- 配置Flume Source(为Socket源)和Sink(为Kafka);
- 依次执行:Kafka消费者脚本 -> Flume Agent -> 数据生成器脚本。
参考实现步骤
请按以上步骤执行操作。
1. 测试实时数据生成
(1) 启动nc服务器。打开一个终端窗口,执行命令:nc -lk 10086
(2) 运行实时数据生成脚本:
# bash sell.sh
然后,根据提示分别输入主机地址(localhost)和端口号(10086)。如下图所示:
......
抱歉,只有登录会员才可浏览!会员登录