当小样本里某条判据一直成立、放大到全量后却出现例外,不要急着改阈值或加白名单。更稳妥的动作是把“为什么它成立”拆成至少两个互斥解释,再为每个解释设计一个能把它推向失败的反证问题。反证问题的目标不是证明结论正确,而是找出结论在什么条件下会失效,从而界定它能不能被规模化照搬。
规模化后出现例外,通常表现为同一类资产、同一类流量或同一批规则,在小样本里误报率低,放大后却集中冒出一批不一致结果。此时最容易犯的错是直接归因,比如“样本太少”“平台误判”“规则写错了”。这些说法都太宽,无法转成可验证的问题。
先把矛盾写成一句可核查的话:在某个时间窗口内,同一批规则对同类样本的判定结果,随样本量增加从一致走向分裂。固定这句话之后,再列出候选解释,才有反证空间。
假设某条规则在小样本中命中稳定,规模化后却出现例外,至少有两个解释同时成立:
这两个解释都能解释“为什么小样本成立、规模化后例外”,但指向的动作完全不同。A要改的是适用范围说明,B要改的是数据链路。
区分A和B,不靠再跑一遍全量,而靠分层对照。把规模化后的例外样本按来源、采集时间和字段完整度分层,如果例外集中在某个来源或某个时间批次,B更可能成立;如果例外分散在各来源,但集中在某类对象结构上,A更可能成立。
这里要注意口径差异:第三方估算流量、搜索引擎报告与站内统计往往对不上,不能因为某个指标归零就断定链路断了。归零还可能来自采集窗口错位、去重规则变化或样本被上游过滤。反证问题要问的是“在什么条件下这个指标会不归零”,而不是“它为什么归零”。
反证问题的写法是:如果解释X成立,那么在某条件下应观察到Y;如果Y不出现,解释X就被削弱。以解释B为例,可以构造:
这些动作的结果会直接影响下一步:若证据指向B,优先修数据链路,暂不扩大规则适用范围;若指向A,则保留规则,但必须在适用范围里写清不能照搬的边界,例如对象结构、来源类型或时间窗口。
假设某条规则在小样本中对“已知资产类型”命中稳定,规模化后对“混合类型资产”频繁例外。按上述方法分层后发现,例外样本的输入字段在归一化阶段被截断。此时不能直接说规则失效,而应把反证结论写成:该规则适用于字段完整且类型单一的输入,混合类型输入需要先补全字段再判定。这个边界就是不能直接照搬的部分。
反证问题的产出不是“对”或“错”,而是一组适用条件。规模化前,把条件写成可检查的清单:对象类型是否单一、输入字段是否完整、采集窗口是否一致、去重规则是否变化。任何一项不满足,规则结果就不能直接外推。
如果反证问题无法被现有数据回答,说明证据链不完整,此时应补采证据,而不是先改规则。补采的证据要能区分两个解释,而不是再增加一组无法归因的统计。只有当反证问题被回答、边界被写明,规模化后的例外才从异常变成预期内的适用范围问题。