logo

小白学苑PBCP

PBCP, 让大数据竞赛更简单!

子任务三:Hudi安装配置—修改源码

在赛方给出的子任务描述中,给出了“提示:编译需要替换以下内容”:

  • 1. 将hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java替换;
  • 2. 将packaging/hudi-spark-bundle/pom.xml替换;
  • 3. 将packaging/hudi-utilities-bundle/pom.xml替换。

其实,在上一个"Hudi安装配置"实现参考中,我们已经知道,Hudi 0.12.0版本是支持Spark 3.1的,直接编译即可。但赛方专门给出了以上提示,我们尚不知道为什么一定要这样做。另外,在上面的提示中,均指明为“替换”,但没有给出进一步的说明。猜测有可能是在正式比赛时,赛方会给出提示中的三个替换文件,然后参赛同学直接替换源码中同名文件就可以?

但鉴于赛方经常出一些不可理解的行为,本补充教程将以上三个文件要进行手动修改的地方进行详细说明,以供参考。以上源码修改在源码包解压缩之后、编译之前进行。

1. 修改pom.xml

使用文本编辑器,打开Hudi源码中的pom.xml文件:

# vim hudi-0.12.0/pom.xml

Windows环境需要注释掉 integ模块,因为integ 模块会执行一个bash脚本,在w ......

......

抱歉,只有登录会员才可浏览!会员登录