实体属性随时间变化场景解决方案

场景说明

实体的属性可能随时间变化。例如:

  • 会员在 2025 年是银牌会员,2026 年升级为金牌会员;
  • 员工先属于销售部,后来调入市场部;
  • 产品先属于新品,经过一段时间后变为老品。

如果实体表只保存最新状态,分析历史事件时就会错误地使用今天的属性。例如,会员已经升级为金牌后,2025 年发生的订单也可能被错误地归到金牌会员。

这类问题通常称为缓慢变化维(Slowly Changing Dimension,SCD)。需要保留完整历史版本时,常用 SCD Type 2(SCD2),也称拉链表或有效时间模型(Valid-time Model)。

SemanticDB V2 的解决方案

SemanticDB V2 使用 ID、start_date 和 end_date 三类属性统一表达实体生命周期和属性版本,不需要 is_zipper 或额外的 versionId。

{
  id: 'membership',
  type: 'entity',
  properties: [
    { id: 'member_id', name: '会员ID', type: 'ID' },
    { id: 'valid_from', name: '生效时间', type: 'start_date' },
    { id: 'valid_to', name: '失效时间', type: 'end_date' },
    { id: 'level', name: '会员级别', type: 'category' },
  ],
}

其中:

  • ID 是稳定的实体标识。同一实体的多个历史版本使用相同的 ID,因此它在物理表中可以重复;
  • start_date 是该行状态开始生效的时间;
  • end_date 是该行状态结束生效的时间,为空表示当前仍然有效;
  • 每一行表示该实体的一个有效区间。每个 ID 只有一行时,是最简单的一段式生命周期;
  • 同一个 ID 有多行时,既可以表示拉链表/SCD2 的属性状态版本,也可以表示多段生命周期,例如离职后再次入职;
  • 多个有效区间首尾相接时表示状态连续切换,区间之间存在空档时表示该实体在空档期未生效。

SemanticDB V2 根据这些属性的语义类型自动识别有效时间实体,不需要增加 Schema 级别的拉链表开关。

数据存储约定

有效时间区间采用左闭右开规则:

[start_date, end_date)

指定查询时间点 T 时,有效行必须满足:

start_date <= T
AND (end_date > T OR end_date IS NULL)

同一 ID 的各有效区间必须互不重叠。状态连续切换时,应让上一行的 end_date 等于下一行的 start_date,这样切换时刻只会命中新的版本。离职后再次入职等场景可以保留区间空档,此时该实体在空档期不会被统计为有效实体。

例如,有两个会员:M001 在 2025 年为银牌、2026 年起为金牌,M002 一直为金牌。数据可以存为:

会员ID生效时间失效时间会员级别
M0012025-01-012026-01-01银牌
M0012026-01-01NULL金牌
M0022025-01-01NULL金牌

同样的模型也能表达重复生命周期。例如员工 E001 在 2022 年离职、2024 年再次入职:

员工ID生效时间失效时间
E0012020-03-012022-06-01
E0012024-02-01NULL

2022-06-01 至 2024-02-01 是两个有效区间之间的空档,表示该员工当时不在职。

查询指定时间的实体状态

配置 ID、start_date、end_date 后,SemanticDB V2 会为实体提供名为“日期”的查询时间轴。调用方查询“日期”即可表达业务上的时间点,不需要直接拼接生效、失效条件。

{
  version: '2.0',
  schema: 'membership',
  query: {
    日期: { $lte: '2025-12-31 23:59:59' },
  },
  preds: [
    { pred: '会员ID' },
    { pred: '会员级别' },
  ],
}

系统会将时间条件转换为:

生效时间 <= 2025-12-31 23:59:59
AND (失效时间 > 2025-12-31 23:59:59 OR 失效时间 IS NULL)

如果没有提供“日期”或显式的生效、失效条件,系统默认查询当前时间仍然有效的版本。

按年份统计实体状态

例如,要统计 2025 年和 2026 年各会员级别的期末会员数,可以使用:

{
  version: '2.0',
  schema: 'membership',
  query: {
    日期: {
      $gte: '2025-01-01 00:00:00',
      $lte: '2026-12-31 23:59:59',
    },
  },
  groupby: [
    {
      operator: '$dateBucket',
      pred: '日期',
      args: { granularity: 'year' },
      name: '年份',
    },
    { pred: '会员级别' },
  ],
  preds: [
    { operator: '$countDistinct', pred: '会员ID', name: '会员数' },
  ],
}

期望结果为:

年份会员级别会员数
2025银牌1
2025金牌1
2026金牌2

SemanticDB V2 会生成年度时间脊柱,并按每年期末与有效时间区间连接。所有年份在一条 SQL 中完成统计;即使某一年的实体数为 0,该年份也可以保留在结果中。

当前有效时间的周期展开仅支持有上下界的年度分组。

历史事件关联当时的实体属性

当订单、交易等事件 Schema 通过实体属性关联到会员时,SemanticDB V2 不仅按会员 ID 连接,还会用事件的 timestamp 选择事件发生时有效的会员版本。连接语义相当于:

ON event.member_id = membership.member_id
AND membership.valid_from <= event.timestamp
AND (
  membership.valid_to > event.timestamp
  OR membership.valid_to IS NULL
)

因此,分析历史订单时可以直接使用关系路径上的属性,例如“会员_会员级别”。无需把“当时会员级别”冗余存到事件表,也不需要使用旧方案中的 is_projection_for。

Warning

事件 Schema 必须有明确的 timestamp,实体各行的有效时间边界也必须准确且不重叠。有效区间之间可以有业务上有意保留的空档;空档期间发生的事件不会关联到该实体的有效版本。

与 Snapshot 的区别

有效时间实体与 Snapshot 表达的是两种不同的时间语义:

  • 有效时间/SCD2:一条状态在 [start_date, end_date) 整个区间内持续有效;
  • Snapshot:某个值只是在离散时间点被观测或记录,使用 Schema 的 temporalSemantics: 'snapshot' 和 timestamp 表达。

会员等级、组织归属等有明确生效区间的状态适合使用有效时间/SCD2;库存盘点、定期余额等离散观测值更适合使用 Snapshot。