Spark Catalog与数据湖元数据统一管理

一、Spark Catalog接口（Spark 3.x+）：

体系结构：

SparkSession → CatalogManager → CatalogPlugin（接口）
                                  ├── DefaultCatalog（HiveMetastore）
                                  ├── IcebergCatalog
                                  ├── DeltaCatalog
                                  └── HudiCatalog

Catalog操作API：

-- SQL方式
USE catalog iceberg_catalog;
SHOW DATABASES;
SHOW TABLES;
ALTER TABLE t SET TBLPROPERTIES('key'='value');

-- DataFrame API
spark.catalog.listDatabases()
spark.catalog.listTables("db")
spark.catalog.setCurrentCatalog("iceberg_catalog")

二、Iceberg Catalog实现：

内置Catalog类型：

1. HiveCatalog：复用Hive Metastore存储元数据
2. HadoopCatalog：在HDFS/S3目录下存储元数据（无需Metastore）
3. RESTCatalog：通过REST API访问（解耦引擎与元数据）
4. JDBCCatalog：在关系数据库存储元数据

配置示例：

spark.sql.catalog.iceberg_catalog=org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.iceberg_catalog.type=hive   # 或hadoop/rest/jdbc
spark.sql.catalog.iceberg_catalog.uri=thrift://metastore:9083
spark.sql.catalog.iceberg_catalog.warehouse=hdfs:///warehouse/iceberg

三、多Catalog管理：

-- 注册多个Catalog
spark.sql.catalog.iceberg=org.apache.iceberg.spark.SparkCatalog
spark.sql.catalog.iceberg.type=hadoop
spark.sql.catalog.iceberg.warehouse=hdfs:///warehouse/iceberg

spark.sql.catalog.delta=org.apache.spark.sql.delta.catalog.DeltaCatalog
spark.sql.catalog.delta.warehouse=hdfs:///warehouse/delta

-- 跨Catalog查询
SELECT * FROM iceberg.db1.table_A
UNION ALL
SELECT * FROM delta.db2.table_B;

四、元数据统一管理的优势：

1. 跨引擎兼容：Trino/Presto/Flink都可读取相同的Catalog
2. 权限统一：通过Ranger控制Catalog级别的权限
3. 迁移灵活：从Hive表原地升级为Iceberg表（不影响现有查询）
4. 统一视图：不同数据源的表在同一个Catalog中

五、实际落地：

企业元数据架构：
        Hive Metastore (Thrift API)
              │
  ┌───────────┼───────────┐
  │           │           │
Spark      Flink      Trino
(Iceberg)  (Iceberg)  (Hive/Iceberg)

• 统一使用Hive Metastore作为Iceberg的Catalog
• 所有引擎共享同一份元数据
• 通过Ranger/Sentry做权限控制