2023年国赛_赛项规程样题解析(Hudi_V2)-离线数据处理_子任务一:数据抽取
这是本赛题解析的第二个版本,按照比赛的评判标准做了代码降级处理。
任务描述
编写Scala代码,使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hudi的ods_ds_hudi库(路径为/user/hive/warehouse/ods_ds_hudi.db)的user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods_ds_hudi库中部分表没有数据,正常抽取即可)
启动Hive Metastore服务
本解析示例使用Spark SQL读写Hudi表,需要访问Hive Metastore服务。在终端中执行如下命令:
$ hive --service metastore
这将保持Hive Metastore服务一直运行,请勿关闭终端。如果要将其作为后台服务启动,则可以使用下面的命令:
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务,并在后台持续运行。
本解析示例基于PBCP2023进行测试,使用spark-shell执行Spark SQL来操作Hudi表数据。单击以下链接,快速跳转到相应的子任务。