logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

数据采集与实时计算-(任务书7)任务二_使用Flink处理Kafka中的数据

说明:本示例是对模块D任务二的补充,因此与之前的模拟练习重复部分不再赘述,重点讲解“任务书7-模块D-任务二-第3子任务”的核心实现部分。

子任务3

子任务3说明

使用Flink消费Kafka中ChangeRecord主题的数据,统计每个设备状态信息,当某设备的状态在24小时内连续三小时为“预警”状态没有改变,则将该设备的状态数据写入MySql表recordstatealarm中,然后在Linux的MySQL命令行中根据MachineID逆序排序,查询出前3条,将SQL语句与执行结果截图粘贴至对应报告中。

实现原理

其中的关键要求是“在24小时内连续三小时为"预警"状态,由此可知,此任务实现要求使用Flink状态后端跟踪设备的状态,并使用定时器设置24小时限定。

因为没有任务书中相同的数据,所以另找了个某城市高速公路ETC入城数据集,部分数据如下:

1,2020-12-22 00:00:00,一型车(客),广东龙景站,2020-12-21 23:39:00,深圳入,广东水朗D站,粤S88***
2,2020-12-22 00:00:00,一型车(货),广东厚街站,2020-12-21 23:32:00,深圳入,广东罗田主线站,粤B08***
3,2020-12-22 00:00:00,一型车(客),广东东深路站,2020-12-21 23:44:00,深圳入,广东罗田主线站,闽AC1 ......
                            

......

抱歉,只有登录会员才可浏览!会员登录