分享大数据领域的最新技术、实践经验和行业动态

标签: Hadoop

一、问题描述

Hadoop 3.x.x默认支持JDK8/11,但是许多大数据组件已经默认支持JDK17,例如,Spark 4.0。因此,当部署JDK17 + Hadoop 3.x.x + Spark 4.0环境时,因为Hadoop 3.x.x不支持JDK17,这时在启动YARN集群时,会失败。查看相关日志,会发现如下的错误信息:

                        
标签: Flink

Flink APIs的演变

随着Flink 2.0的临近,社区正计划改进Apache Flink的API。

1) 社区计划在Flink 2.0中删除一些长期被弃用的API,以使Flink运行得更快,包括:

(1) DataSet API, 所有的Scala...

标签: Flink

FLIP-265 Deprecate and remove Scala API support

动机

Apache Flink提供了使用DataStream和表API构建Flink应用程序的API。这些API以Java和Scala语言提供。Python API在底层使用Ja...

热门标签
大数据 Spark Flink Hadoop 性能优化 流处理 数据分析
关于博客

这里是大数据技术博客专区,定期发布最新的技术文章、实践经验和行业动态,欢迎大家交流学习!