赛题模拟实现-数据采集与实时计算
任务内容:
启动业务系统,按照要求使用Flume将用户操作日志采集并存入Kafka中并使用Flink、Scala消费Kafka中的数据将其进行聚合计算出商城在线人数,将结果存入Redis中,并统计该电商系统的UV与PV将结果存入MySQL中。
实现原理:
从前面的任务剖析部分可以知道,Flink采用的版本是1.10.2。整个任务实现的架构和流程如下图:

实现过程
1)在IDEA中创建一个Flink Maven项目:Flink102Example。
参考教程:使用IntelliJ IDEA+Maven开发Flink项目。
2)完成第一个任务:“使用Flume采集某电商系统用户操作日志存入Kafka中”。
2.1)技术参考: