补充-Spark将DataFrame写入HBase表(demo)
Spark本身并没有提供内置的HBase连接器。我们可以使用HBase Spark连接器或其他第三方连接器来在Spark中连接HBase。
在本demo中,我们使用与PBCP2023竞赛环境中Spark和HBase版本一致的HBase Spark连接器来连接HBase。该连接器是一个名为hbase-spark-1.0.1-SNAPSHOT.jar的包文件。
准备测试用的HBase表
请按以下步骤,用数据准备一个测试用的HBase表。
1) 启动HDFS集群,命令如下:
$ start-dfs.sh
2) 启动HBase集群,命令如下:
$ start-hbase.sh
3) 运行hbase shell,命令如下:
$ hbase shell
4) 列出HBase中的表,命令如下:
hbase(main):001:0> list
5) 创建表test,带有列族cf。命令如下:
hbase(main):002:0> create 'test','cf'
6) 扫描表内容,命令如下:
hbase(main):003:0> scan 'test'
因为是刚创建的空表,还没有数据,所以扫描结果如下:
......抱歉,只有登录会员才可浏览!会员登录