2023江苏省赛样题解析-离线数据处理 任务三:指标计算
任务描述
编写Scala代码使用Spark引擎,并计算相关指标。
启动Hive Metastore服务
Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:
$ hive --service metastore
这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务,并在后台持续运行。
在Hive端,创建dws层数据库:
hive> create database ds_dws;
子任务1
子任务1说明
1、根据dwd层表统计每人每天下单的数量和下单的总金额,存入dws层的table3表中,然后在hive cli中按照key1,key2, key3均为降序排序,查询出前5条,将SQL语句与执行结果截图粘贴至对应报告中。
子任务1分析
要计算的fact_order_info表数据示例如下:
+------+--- ............
抱歉,只有登录会员才可浏览!会员登录