分享大数据领域的最新技术、实践经验和行业动态

标签: Spark

1、构造某些列带有None值的DataFrame

from decimal import Decimal
# List
data = [{"Category": 'Category A', "ID": 1, "Value": Decimal(12.40)},
        {"Category": 'Categ...

标签: Hive

在hive-3.1.x版本中,使用hive shell时,会发现在查询命令中夹杂大量的日志信息,严重干扰查询结果显示,特别是强迫症患者,不能忍受。通过修改conf下的日志文件,会发现不起任何作用。

那么,怎么解决这个问题呢?

首先,进到hbase 的lib 的目录(你没看错,是hbase 的lib 目录下),然后执行下图中的命令,找到相关的ja...

热门标签
大数据 Spark Flink Hadoop 性能优化 流处理 数据分析
关于博客

这里是大数据技术博客专区,定期发布最新的技术文章、实践经验和行业动态,欢迎大家交流学习!