2023浙江省赛样题解析-数据采集:实时数据采集_子任务1

任务描述

1、 在主节点使用Flume采集实时数据生成器XXXXX端口的socket数据,将数据存入到Kafka的Topic中,使用Kafka自带的消费者消费Topic中的数据,查看Topic中的前1条数据的结果,将查看命令与结果完整的截图粘贴至对应报告中;

任务分析

根据题意,需要实现的任务流程如下:

   数据生成器 => Flume Source => Kafka Sink => Kafka消费者脚本

因此,需要完成以下几个任务:

  • 创建Kafka Topic;
  • 配置Flume Source(为Socket源)和Sink(为Kafka);
  • 依次执行:Kafka消费者脚本 -> Flume Agent -> 数据生成器脚本。

参考实现步骤

请按以上步骤执行操作。

1. 测试实时数据生成

(1) 启动nc服务器。打开一个终端窗口,执行命令:nc -lk 10086

(2) 运行实时数据生成脚本:

# bash sell.sh

然后,根据提示分别输入主机地址(localhost)和端口号(10086)。如下图所示:

......

抱歉,只有登录会员才可浏览!会员登录


《Flink原理深入与编程实战》