实体属性随时间变化场景解决方案
场景说明
实体的属性可能随时间变化。例如:
- 会员在 2025 年是银牌会员,2026 年升级为金牌会员;
- 员工先属于销售部,后来调入市场部;
- 产品先属于新品,经过一段时间后变为老品。
如果实体表只保存最新状态,分析历史事件时就会错误地使用今天的属性。例如,会员已经升级为金牌后,2025 年发生的订单也可能被错误地归到金牌会员。
这类问题通常称为缓慢变化维(Slowly Changing Dimension,SCD)。需要保留完整历史版本时,常用 SCD Type 2(SCD2),也称拉链表或有效时间模型(Valid-time Model)。
SemanticDB V2 的解决方案
SemanticDB V2 使用 ID、start_date 和 end_date 三类属性统一表达实体生命周期和属性版本,不需要 is_zipper 或额外的 versionId。
其中:
ID是稳定的实体标识。同一实体的多个历史版本使用相同的ID,因此它在物理表中可以重复;start_date是该行状态开始生效的时间;end_date是该行状态结束生效的时间,为空表示当前仍然有效;- 每一行表示该实体的一个有效区间。每个
ID只有一行时,是最简单的一段式生命周期; - 同一个
ID有多行时,既可以表示拉链表/SCD2 的属性状态版本,也可以表示多段生命周期,例如离职后再次入职; - 多个有效区间首尾相接时表示状态连续切换,区间之间存在空档时表示该实体在空档期未生效。
SemanticDB V2 根据这些属性的语义类型自动识别有效时间实体,不需要增加 Schema 级别的拉链表开关。
数据存储约定
有效时间区间采用左闭右开规则:
指定查询时间点 T 时,有效行必须满足:
同一 ID 的各有效区间必须互不重叠。状态连续切换时,应让上一行的 end_date 等于下一行的 start_date,这样切换时刻只会命中新的版本。离职后再次入职等场景可以保留区间空档,此时该实体在空档期不会被统计为有效实体。
例如,有两个会员:M001 在 2025 年为银牌、2026 年起为金牌,M002 一直为金牌。数据可以存为:
同样的模型也能表达重复生命周期。例如员工 E001 在 2022 年离职、2024 年再次入职:
2022-06-01 至 2024-02-01 是两个有效区间之间的空档,表示该员工当时不在职。
查询指定时间的实体状态
配置 ID、start_date、end_date 后,SemanticDB V2 会为实体提供名为“日期”的查询时间轴。调用方查询“日期”即可表达业务上的时间点,不需要直接拼接生效、失效条件。
系统会将时间条件转换为:
如果没有提供“日期”或显式的生效、失效条件,系统默认查询当前时间仍然有效的版本。
按年份统计实体状态
例如,要统计 2025 年和 2026 年各会员级别的期末会员数,可以使用:
期望结果为:
SemanticDB V2 会生成年度时间脊柱,并按每年期末与有效时间区间连接。所有年份在一条 SQL 中完成统计;即使某一年的实体数为 0,该年份也可以保留在结果中。
当前有效时间的周期展开仅支持有上下界的年度分组。
历史事件关联当时的实体属性
当订单、交易等事件 Schema 通过实体属性关联到会员时,SemanticDB V2 不仅按会员 ID 连接,还会用事件的 timestamp 选择事件发生时有效的会员版本。连接语义相当于:
因此,分析历史订单时可以直接使用关系路径上的属性,例如“会员_会员级别”。无需把“当时会员级别”冗余存到事件表,也不需要使用旧方案中的 is_projection_for。
事件 Schema 必须有明确的 timestamp,实体各行的有效时间边界也必须准确且不重叠。有效区间之间可以有业务上有意保留的空档;空档期间发生的事件不会关联到该实体的有效版本。
与 Snapshot 的区别
有效时间实体与 Snapshot 表达的是两种不同的时间语义:
- 有效时间/SCD2:一条状态在
[start_date, end_date)整个区间内持续有效; - Snapshot:某个值只是在离散时间点被观测或记录,使用 Schema 的
temporalSemantics: 'snapshot'和timestamp表达。
会员等级、组织归属等有明确生效区间的状态适合使用有效时间/SCD2;库存盘点、定期余额等离散观测值更适合使用 Snapshot。

