Apache Iceberg简介
Apache Iceberg是一种相对较新的开放表格式，专为巨大的PB级表而设计。表格式的功能是决定如何管理、组织和跟踪所有组成表格的文件。我们可以把它看作物理数据文件（用Parquet或ORC等写的）和它们如何被构造成表之间的抽象层。
使用保存在每个表上的大量元数据，Iceberg提供了其他表格式通常无法提供的功能。这包括模式演化、分区演化和表版本回滚—所有这些都可以在不需要代价高昂的表重写或表迁移的情况下实现。
该项目最初是由Netflix公司开发的，目的是解决他们使用巨大的PB级表的长期问题。它于2018年作为Apache孵化器项目开源，并于2020年5月19日从孵化器中毕业。
Apache Iceberg设计的一个关键考虑是解决各种数据一致性和性能问题，这些问题是Hive在使用大数据时所面临的问题。Hive在“文件夹”级（即不是文件级）跟踪数据，因此在处理表中的数据时需要执行文件列表操作。当需要执行其中许多操作时，这可能会导致性能问题。当在最终一致的对象存储（如S3）上执行文件列表操作时，还可能出现数据丢失的情况。Apache Iceberg通过使用持久树结构跟踪表中所有文件的完整列表来避免这种情况。对表的更改使用原子对象/文件级提交将路径更新到一个新的元数据文件，该元数据文件包含所有单独数据文件的位置。
Apache Iceberg 具有以下特色功能：
- (1) 模式进化（Schema evolution）。支持添加、删除、更新或重命名，并且没有副作用。
- (2) 隐藏分区（Hidden partitioning）。防止因用户失误导致的无提示错误结果或极慢的查询。
- (3) 分区布局演变（Partition layout evolution）。可以随着数据量或查询模式的变化更新表的布局。
- (4) 时间旅行（Time travel）。支持使用完全相同的表快照进行重复查询，或让用户轻松检查更改信息。
- (5) 版本回退（Version rollback）。允许用户通过将表重置为之前某一时刻的状态来快速纠正问题。
关于可靠性与性能方面，Apache Iceberg 适用于查询大型表格，其中单个表可以包含数十 PB 的数据，甚至可以在没有分布式 SQL 引擎的情况下读取它们，并且旨在解决最终一致的云对象存储中的正确性问题：
- (1) 快速的扫描计划：不需要分布式 SQL 引擎来读取表或查找文件。
- (2) 高级过滤：使用表元数据、分区和列级统计信息修剪数据文件。
- (3) 通过避免监听和重命名，适用于任何云存储并在HDFS中减少NameNode拥塞。
- (4) 可序列化隔离：表更改是原子的，读取时不会看到部分或未提交的更改。
- (5) 利用乐观锁控制并发写入，并会重试以确保兼容更新成功。
有关存储格式方面，Apache Iceberg 中的一些概念列举如下：
- (1) 分区规范（Partition spec）：定义了如何从数据文件推断分区信息。
- (2) 快照（Snapshot）：表在某个时刻的状态，由清单列表定义。每个快照都列出了在快照时构成表内容的所有数据文件。
- (3) 清单列表（Manifest list）：列出组成表快照的清单的元数据文件，这是Avro格式文件。清单列表中的每个清单文件都存储了关于其内容的信息，比如分区值范围，以加快元数据操作。
- (4) 清单文件（Manifest）：列出组成快照的数据文件子集的元数据文件，这也是Avro 格式文件。清单中的每个数据文件都存储有分区元组、列级统计信息和摘要信息，这些信息用于在扫描规划期间修剪分裂。
- (5) 数据文件（Data file）。真实存储数据的文件。
在Apache Spark 3中可以多种方式使用Iceberg。下面列出了其中常用的几种方法。
(1) 方式一，在启动spark-shell时指定。命令如下：
$ spark-shell --packages org.apache.iceberg:iceberg-spark-runtime-3.1_2.12:0.13.1
(2) 方式二，将iceberg-spark-runtime-3.1_2.12:0.13.1.jar包添加到Spark的jars目录下。
(3) 方式三，如果是使用Maven开发，则在项目的pom.xml文件中添加依赖，内容如下：
<dependency>
<groupId>org.apache.iceberg</groupId>
<artifactId>iceberg-core</artifactId>
<version>0.13.1</version>
</dependency>
(4) 方式四，如果是使用SBT开发，则在项目的build.sbt文件中添加依赖，内容如下：
libraryDependencies += "org.apache.iceberg" % "iceberg-core" % "0.13.1"
