2022(7.20更新)高职大数据竞赛(任务书7)-数据采集与实时计算任务2:使用Flink处理Kafka中的数据

编写Scala代码,使用Flink消费Kafka中的数据并进行相应的数据统计计算。

点击下方链接,可快速跳转到相应子任务实现部分:

子任务1

子任务1说明

1、使用Flink消费Kafka中ProduceRecord主题的数据,统计在已经检验的产品中,各设备每5分钟生产产品总数,将结果存入Redis中,key值为“totalproduce”,value值为“设备id,最近5分钟生产总数”。使用redis cli以HGETALL key方式获取totalproduce值,将结果截图粘贴至对应报告中,需两次截图,第一次截图和第二次截图间隔5分钟以上,第一次截图放前面,第二次截图放后面;
注:ProduceRecord主题,每生产一个产品产生一条数据;
change_handle_state字段为1代表已经检验,0代表为(未?)检验;
时间语义使用Processing Time。

分析:按第二个字段(ProduceMachineID)分区,使用5分钟滚动窗口,在窗口上应用窗口处理函数。

这个任务出的似乎有问题。在producerecord表中并没有change_handle_state字段,反 ......

......

抱歉,只有登录会员才可浏览!会员登录


《PySpark原理深入与编程实战》