使用Flink处理Kafka中的数据_题库子任务1、2、3_Java语言实现
注:与订单金额计算相关使用order_money字段,同一个订单无需多次重复计算,需要考虑退款或者取消的订单。
编写Java代码,使用Flink消费Kafka中Topic为ods_mall_log和ods_mall_data的数据并进行相应的数据统计计算(使用ProcessTime)。
点击正文链接,可快速跳转到相应子任务实现部分:
子任务1
子任务1描述
1、使用Flink消费Kafka中topic为ods_mall_data的数据,根据数据中不同的表将数据分别分发至kafka的DWD层的fact_order_master、fact_order_detail的Topic中(只获取data的内容,具体的内容格式考生请自查),其他的表则无需处理,其中请对进入到fact_order_master的内容进行排序,同时迟到容忍度设置为2分钟;
子任务1分析
这个任务我们可以归纳如下:
- 编写一个Flink流处理程序,既将Kafka当作数据源,也将Kafka作为Data Sink;
-
需要同时写多个Kafka Topic。
......
抱歉,只有登录会员才可浏览!会员登录