小白学苑

2025年江苏省高职-大数据应用开发赛项_样题解析_任务A：离线数据处理-子任务二：数据清洗

任务描述

编写Scala代码，使用Spark将ods_ds_hudi库中相应表数据全量抽取到Hudi的dwd_ds_hudi库（路径为路径为/user/hive/warehouse/dwd_ds_hudi.db）中对应表中。表中有涉及到timestamp类型的，均要求按照yyyy-MM-dd HH:mm:ss，不记录毫秒数，若原数据中只有年月日，则在时分秒的位置添加00:00:00，添加之后使其符合yyyy-MM-dd HH:mm:ss。(若dwd_ds_hudi库中部分表没有数据，正常抽取即可)

说明：本解析示例基于小白学苑的PBCP2023环境进行测试，使用spark-shell执行Spark SQL来操作Hudi表数据。单击以下链接，快速跳转到相应的子任务。

• 子任务1：合并dim_user_info表
• 子任务2：合并dim_sku_info表
• 子任务3：合并dim_province表
• 子任务4：合并dim_region表
• 子任务5：处理fact_order_info表
• 子任务6：处理fact_order_detail表

子任务1 ......

抱歉，只有登录会员才可浏览！会员登录