拉链表设计与实现

拉链表定义： 记录每条数据生命周期的SCD Type2实现，完整追踪历史变化。

一、表结构设计：

CREATE TABLE dim_user_sdc (
    user_id        BIGINT    COMMENT '业务主键',
    user_name       STRING    COMMENT '用户名称',
    phone           STRING    COMMENT '手机号',
    address         STRING    COMMENT '地址',
    start_date      STRING    COMMENT '生效日期（拉链开始）',
    end_date        STRING    COMMENT '失效日期（拉链结束，9999-12-31表示当前）',
    is_current      STRING    COMMENT '是否当前记录(Y/N)'
)
PARTITIONED BY (dt STRING)   -- 分区存储，减少查询扫描
STORED AS ORC;

二、数据示例： | user_id | phone | address | start_date | end_date | is_current | |---------|-------|---------|-----------|---------|-----------| | 1 | 138xxxx | 北京旧 | 2025-01-01 | 2025-05-24 | N | | 1 | 138xxxx | 北京新 | 2025-05-25 | 9999-12-31 | Y |

三、增量更新策略（Hive实现）：

-- Step1: 关闭需要变更的旧记录
INSERT OVERWRITE TABLE dim_user_sdc PARTITION (dt='2025-05-25')
SELECT user_id, user_name, phone, address, start_date, end_date, 'N'
FROM dim_user_sdc WHERE dt='9999-12-31'  -- 当前有效数据
AND user_id IN (SELECT user_id FROM incremental);

-- Step2: 插入不变的历史记录
INSERT INTO dim_user_sdc PARTITION (dt='2025-05-25')
SELECT ... FROM dim_user_sdc WHERE end_date != '9999-12-31';

-- Step3: 插入新记录（变更后+新增）
INSERT INTO dim_user_sdc PARTITION (dt='2025-05-25')
SELECT user_id, user_name, phone, address,
       '2025-05-25' AS start_date,
       '9999-12-31' AS end_date,
       'Y' AS is_current
FROM incremental;

四、查询方式：

查当前快照： WHERE end_date = '9999-12-31'

查历史时间点： WHERE start_date <= '2025-03-15' AND end_date >= '2025-03-15'

五、优化建议：

• 用分区存储（按日期分区），减少全表扫描
• 用ORC/Parquet列存提高压缩和查询
• Merge Into（Hive 3.x/Spark 3.x）简化拉链表更新