分享大数据领域的最新技术、实践经验和行业动态
一、问题描述
Hadoop 3.x.x默认支持JDK8/11,但是许多大数据组件已经默认支持JDK17,例如,Spark 4.0。因此,当部署JDK17 + Hadoop 3.x.x + Spark 4.0环境时,因为Hadoop 3.x.x不支持JDK17,这时在启动YARN集群时,会失败。查看相关日志,会发现如下的错误信息:
Flink APIs的演变
随着Flink 2.0的临近,社区正计划改进Apache Flink的API。
1) 社区计划在Flink 2.0中删除一些长期被弃用的API,以使Flink运行得更快,包括:
(1) DataSet API, 所有的Scala...
FLIP-265 Deprecate and remove Scala API support
动机
Apache Flink提供了使用DataStream和表API构建Flink应用程序的API。这些API以Java和Scala语言提供。Python API在底层使用Ja...
前端框架vue.js系列教程:
前端框架vue.js系列教程:
热门标签
大数据
Spark
Flink
Hadoop
性能优化
流处理
数据分析
关于博客
这里是大数据技术博客专区,定期发布最新的技术文章、实践经验和行业动态,欢迎大家交流学习!