2023年国赛_赛项规程样题解析(V2)-离线数据处理_子任务二：数据清洗
这是本赛题解析的第二个版本，按照比赛的评判标准做了代码降级处理。
任务描述
编写 Scala 代码，使用 Spark 将 ods 库中相应表数据全量抽取到 Hive 的 dwd 库中对应表中。表中有涉及到 timestamp 类型的，均要求按照 yyyy-MM-dd HH:mm:ss，不记录毫秒数，若原数据中只有年月日，则在时分秒的位置添加 00:00:00，添加之后使其符合 yyyy-MM-dd HH:mm:ss。
启动Hive Metastore服务
Spark读写Hive表，需要访问Metastore服务。在终端中执行如下命令：
$ hive --service metastore
这将保持Hive Metastore服务一直运行，请勿关闭终端。如果要将其作为后台服务启动，则可以使用下面的命令：
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务，并在后台持续运行。
单击以下链接，快速跳转到相应的子任务。
- 子任务1：合并ods.user_info表到dwd.dim_user_info
-
< ......
......
抱歉，只有登录会员才可浏览！会员登录