2022(7.20更新)高职大数据竞赛(任务书7)-离线数据处理任务1：数据抽取
任务描述
编写Scala代码，使用Spark将MySQL库中表ChangeRecord，BaseMachine，MachineData， ProduceRecord全量抽取到Hive的ods库中对应表changerecord，basemachine， machinedata，producerecord中。
启动Hive Metastore服务
Spark读写Hive表，需要访问Metastore服务。在终端中执行如下命令：
$ hive --service metastore
这将保持Hive Metastore服务一直运行，请勿关闭终端。如果要将其作为后台服务启动，则可以使用下面的命令：
$ nohup hive --service metastore &
这个命令将启动Hive Metastore服务，并在后台持续运行。
首先创建比赛所需要的Hive 数据仓库gy_ods，在Hive CLI中执行如下语句创建：
create database gy_ods;
子任务1
子任务1说明
1、抽取MySQL的shtd_industry库中ChangeRecord表的全量数据进入Hive的ods库中表changerecord，字段排序、类型不变，同时添加静态分区，分区字段类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.chang ......
......
抱歉，只有登录会员才可浏览！会员登录
