2023年国赛_赛项规程样题解析(V2)-离线数据处理_子任务三:指标计算
任务描述
编写 Scala 代码,使用 Spark 计算相关指标。
启动Hive Metastore服务
Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:
$ hive --service metastore
这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务,并在后台持续运行。
单击以下链接,快速跳转到相应的子任务。
- 子任务1:使用 Azkaban 完成任务代码的调度
- 子任务2:根据 dwd 层表统计每个省份、每个地区、每个月下单的数量和下单的总金额
- 子任务3:根据 dwd 层表计算出 2020 年 4 月每个省份的平均订单金额和所 有省份平均订单金额相比较结果
- 子任务4:根据 dwd 层表统计在两天内连续下单并且下单金额保持增长的用 户
子任务1
子任务1说明
......抱歉,只有登录会员才可浏览!会员登录