2024年福建省大数据应用开发赛项样题解析-模块C：实时数据处理-任务一：实时数据清洗
环境说明
服务端登录地址详见各模块服务端说明。
补充说明：各节点可通过Asbru 工具或SSH 客户端进行SSH 访问；
主节点MySQL 数据库用户名/密码：root/123456（已配置远程连接）；
Flink 任务在Yarn 上用per job 模式（即Job 分离模式，不采用Session 模式），方便Yarn 回收资源；
建议使用gson 解析json 数据。
任务要求：编写Scala代码，使用Flink消费Kafka中Topic的数据并进行相应的数据统计计算。
本任务共有三个子任务组成。点击正文链接，可快速跳转到相应子任务实现部分：
子任务1
子任务1描述
1.使用Flink 消费Kafka 中topic 为topic1 的数据，根据数据中不同的表将数据分别分发至kafka 的DWD 层的Topic 中。使用Kafka自带的消费者消费Topic 的前1 条数据，将 ......
......
抱歉，只有登录会员才可浏览！会员登录