2023江苏省赛样题解析-离线数据处理 任务二：数据清洗
任务描述
编写Hive SQL代码在hive中运行，将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的，均要求按照yyyy-MM-dd HH:mm:ss，不记录毫秒数，若原数据中只有年月日，则在时分秒的位置添加00:00:00，添加之后使其符合yyyy-MM-dd HH:mm:ss。
启动Hive Metastore服务
Spark读写Hive表，需要访问Metastore服务。在终端中执行如下命令：
$ hive --service metastore
这将保持Hive Metastore服务一直运行，请勿关闭终端。如果要将其作为后台服务启动，则可以使用下面的命令：
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务，并在后台持续运行。
在Hive端，创建dwd层数据库：
hive> create database ds_dwd;
子任务1
子任务1说明
1、将ods库中table2表数据抽取到dwd库中fact_table2的分区表，分区字段为etldate且值与ods库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填写“user1”，dwd_in ......
......
抱歉，只有登录会员才可浏览！会员登录
