先给结论:无法复现不等于旧结论作废,而是要把结论降级为“有条件的观察”。具体做法是先把旧实验拆成可单独验证的环节,再判断哪些环节依赖的输入已经不可获得。凡是依赖 Alexa 工具栏样本、第三方仿值或已变更抓取口径的环节,只能保留为历史描述;凡是只依赖站内日志、自有埋点和人工记录的部分,仍可作为有限结论继续使用。判断依据不是“能不能再跑出同一个数字”,而是“这个环节的输入今天是否还存在、是否可重新取得”。
复现失败时,先分清你卡在哪一种条件。这个区分决定了你接下来是重跑实验,还是改写结论的适用范围。
Alexa 排名、公开 PR 值、百度快照、SOSO 这类对象都属于第二类的典型:它们曾经被当作可比较的指标,但其数值来源和更新方式并不由你控制。把它们写进结论时,必须附上观测时间和口径,而不是当作稳定事实引用。
把旧实验写成一张环节表,每个环节标注三件事:输入来源、是否可重新取得、结论依赖程度。依赖程度高的环节如果输入不可重建,整个结论就要降级;依赖程度低的环节可以单独保留。
假设一个例子:某次内部复盘记录显示,在集中做了一段时间的内容更新后,某个第三方排名数值从 A 区间移动到 B 区间。今天你无法再取得同口径的数值。这时可保留的有限结论是“内容更新与观测到的数值变化同时发生”,不能保留的是“内容更新导致排名提升”。前者是观察,后者是因果,而因果需要排除同期其他变化,例如站点改版、外链增减、统计口径调整。
这一步的实际动作是:把结论句里的动词改弱。“提升”“带来”“推动”改为“同期出现”“在当次观测中对应”。改完之后再看这句话是否仍然对你有用。如果改弱后毫无信息量,说明这条结论本来就不该保留。
有限结论要写成可复查的形式,包含四个要素:观测时间、观测口径、观察到的变化、未排除的干扰。缺少任何一项,后续复查时都无法判断这条结论是否还成立。
例外情况有两种。其一,如果旧实验的核心输入今天仍可重建,只是步骤不同,那么不必降级结论,而应重跑一次并记录新步骤。其二,如果这条结论只用于内部沟通、不再用于对外判断,可以保留原有措辞,但要在文档里标注“仅历史参考”。这两种例外都不适用于把不可重建的第三方数值当作现行依据。
把旧实验的全部结论分成三层,分别处理:
分层的直接结果是:你不再需要为“复现失败”这件事本身纠结,而是得到一份边界清楚的结论清单。下一步动作也随之明确——可复现层安排重跑,可保留层归档并注明复查条件,应丢弃层从现行文档中移除。如果某个数值今天是否仍存在、以什么形式存在都不确定,就把它归入可保留层并注明待核实,而不是替它补一个看起来合理的现状描述。