2022-2023赛季高职大数据竞赛(样题解析)-数据挖掘-任务三:特征工程(二)
本任务包含以下两个子任务:
启动Hive Metastore服务
Spark读写Hive表,需要访问Metastore服务。在终端中执行如下命令:
$ hive --service metastore
这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务,并在后台持续运行。
子任务1
子任务1描述
1、据Hive的dwd库中相关表或MySQL数据库ds_db01中订单相关表,对用户购买过的商品进行去重,将其转换为以下格式:第一列为用户id mapping,第二列为用户购买过的商品id mapping,按照customer_id与product_id进行升序排序,输出前5行;
字段 | 类型 | 中文含义 | 备注 |
---|