2023江苏省赛样题解析-离线数据处理 任务三:指标计算

任务描述

编写Scala代码使用Spark引擎,并计算相关指标。

启动Hive Metastore服务

Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:

$ hive --service metastore

这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:

$ nohup hive --service metastore &

这个命令将启动Hive Metastore服务,并在后台持续运行。

在Hive端,创建dws层数据库:

hive> create database ds_dws;

子任务1

子任务1说明

1、根据dwd层表统计每人每天下单的数量和下单的总金额,存入dws层的table3表中,然后在hive cli中按照key1,key2, key3均为降序排序,查询出前5条,将SQL语句与执行结果截图粘贴至对应报告中。

子任务1分析

要计算的fact_order_info表数据示例如下:

+------+-----------+---------------+--------------------+--------------+---------+---------------------------+- ......
          

......

抱歉,只有登录会员才可浏览!会员登录


《Spark原理深入与编程实战》