Spark读写Hive中文列名乱码问题

Spark SQL支持将DataFrame数据保存到Hive表中,并从中读取数据。通常大家在定义表的列名时,用的都是英文单词或者拼音,这没有什么问题。

但在最近的某个项目中,为了分析及可视化方便,计划将Spark DataFrame中包含中文列名的数据存储在Hive表中,数据如下:

+----------+----------------------+----------------------+
|year_month|富士苹果全国平均批发价|红富士苹果集贸市场价格|
+----------+----------------------+----------------------+
|    202103|                  7.05|                   9.8|
|    202104|                  6.99|                   9.6|
|    202105|                   6.7|                   9.4|
|    202106|                  6.38|                  9.34|
|    202107|                  6.25|                  9.46|
|    202108|                  6.34|                  9.53|
|    202109|                  6.62|                  9.47|
|    202110|                  6.67|                   9.3|
|    202111|                  6.63|                  9.2 ......
          

......

抱歉,只有登录会员才可浏览!会员登录


《PySpark原理深入与编程实战》