Spark读写Hive中文列名乱码问题
Spark SQL支持将DataFrame数据保存到Hive表中,并从中读取数据。通常大家在定义表的列名时,用的都是英文单词或者拼音,这没有什么问题。
但在最近的某个项目中,为了分析及可视化方便,计划将Spark DataFrame中包含中文列名的数据存储在Hive表中,数据如下:
+----------+----------------------+----------------------+
|year_month|富士苹果全国平均批发价|红富士苹果集贸市场价格|
+----------+----------------------+----------------------+
| 202103| 7.05| 9.8|
| 202104| 6.99| 9.6|
| 202105| 6.7| 9.4|
| 202106| 6.38| 9.34|
| 202107| 6.25| 9.46|
| 202108| 6.34| 9.53|
| 202109| 6.62| 9.47|
| 202110| 6.67| 9.3|
| 202111| 6.63| 9.2 ......
......
抱歉,只有登录会员才可浏览!会员登录