GEO 的因果难题：效果变好，真的是优化带来的吗？

改了产品页，补了场景说明。两周后，品牌在一组 AI 回答中的推荐比例从 20% 升到了 40%。

报表很容易写：优化后翻了一倍。

但如果同期没有改过资料的另一组问题，也从 20% 升到了 30%，这次增长应该怎样解释？

前一篇把 GEO 拆成获取、检索、引用、表述和行动五层。那是在定位问题。这一篇再往前走一步：做完一个动作，怎样判断它有没有起作用？

最难回答的，其实是一个没有发生过的问题：如果当时什么都不做，结果会怎样？

本文用虚构的排班软件 A 演示研究方法，所有比例都是教学算例，没有真实项目效果数据。下文方案用于设计验证，不承诺某个样本量或观察周期就能证明因果关系。

前后对比，缺少了另一个“后来”

假设软件 A 新增了跨店排班说明。修改前，AI 很少推荐它；修改后，出现次数增加了。

修改发生在前，指标上涨在后。但期间变化的可能不止这个页面。

平台可能调整了检索或回答方式，第三方可能发布了产品介绍，竞争对手的信息也可能变化。团队自己还可能更换了问题、账号，或者联网设置。

这些可能性需要排查，不能直接当作原因。

Google 的搜索流量排查文档就提醒，算法更新、技术问题和需求变化等因素都可能影响表现。这里引用的是搜索场景，不能直接当作某次 AI 回答变化的原因。〔1〕

只比较昨天和今天，我们看到的是两个结果；要判断优化效果，还需要估计“没有这次修改的今天”。

研究方法里把它称为反事实。英国财政部的影响评估指南也区分了两件事：观察到结果变化，与判断变化是否由干预引起。〔2〕

反事实无法在同一个对象、同一个时刻直接重演。对照、随机分配和时间序列，都是尝试为它找到可信参照的办法。

先把“优化”缩成一个能说明白的动作

软件 A 的团队决定测试：补充跨店排班的功能、版本限制和配置条件，是否有助于它进入相关需求的候选名单。

把这次改动，也就是“干预”，写成变更记录：改了哪些页面和事实，何时上线，由谁确认。同期其他推广安排尽量保持稳定，变化另记。

如果这一轮同时改标题、重构网站、发布几十篇文章、投放广告，最后只能评估这组动作。即使结果改善，也不能把功劳单独归给某一种写法。

指标也要在开始前确定。

例如，把主指标定义为：在固定的非品牌需求问题中，回答明确将 A 列为可考虑方案的比例。 同时记录推荐理由是否包含错误功能或遗漏版本限制。

“A 不适合这个需求”不算推荐。页面被引用但没有推荐产品，也不算。事实准确性单独报告，防止用错误承诺换来好看的推荐数字。

这个指标观察的是候选表现，不代表有多少真人看过，更不代表新增了多少订单。

多减一次，为什么还不够

回到开头的数字。为了方便演算，假设每组在每个阶段各有 100 次有效回答，问题构成与采样权重保持一致。

重点组增加了 20 个百分点，参照组增加了 10 个百分点。两组变化再相减，得到 10 个百分点。

这展示了“双重差分”的基本计算思路：比较两组各自前后的变化，而不只看重点组涨了多少。

但这张四格表，只够算数，还不够证明效果。

核心假设叫“平行趋势”：如果没有这次干预，两组结果在同一时期的平均变化应当相同。它不要求两组起点一致。〔2〕

两组起点恰好都为 20%，并不能证明平行趋势。应查看干预前多个时点，判断这一假设是否有依据；过去走势相近，也不能保证干预后没有只影响其中一组的新事件。

因此，不能只凭这张表就宣布“优化净提升了 10 个百分点”。更准确的说法是：两组前后变化的差为 10 个百分点；它能否解释为优化效果，还取决于对照是否成立及估计的不确定性。

GEO 的麻烦：资料公开了，对照组未必躲得开

软件 A 的团队把“跨店支援怎么排班”放进重点组，把“连锁门店怎样管理员工”放进参照组，准备只改善前者。

但新页面一旦公开，回答后一类问题时也可能用到它。

题目不同，不等于接触的信息不同。参照组一旦也受到新资料影响，就不能代表“没有这次优化”的状态。

反过来，若拿完全无关的产品问题做参照，又可能失去可比性：它们的需求、来源和平台变化未必一致。

这就是公开内容实验的难处：相似的组容易互相影响，隔得太远的组又未必适合比较。

本文建议把依赖同一组产品事实和页面的问题放在一起，称为“主题簇”，再按组安排更新。这是本文对 GEO 实操的分组建议，不是一个已经验证有效的统计设计。

先寻找业务意图和历史表现接近、资料依赖又相对分离的多个主题簇；条件允许时，随机决定哪些先更新，哪些延后更新。

随机安排更新，仍然无法隔离互联网或限定平台使用资料的范围。

所以，仍要追踪可见引用和跨主题资料使用情况。没有看见交叉引用，也不能证明没有交叉影响。隔离条件不足时，就把项目称为带参照的观察研究，不包装成严格的 A/B 实验。

这种分批设计只适用于可延后的内容改进。已知错误的产品事实应及时纠正，不应为了保留对照而继续误导读者。

问一千遍，不等于有一千份独立证据

同一主题的不同问法可能引用相同页面，同一时段的回答也可能受到共同变化影响。反复采集能观察波动，调用次数却不能直接当作独立样本数。

Microsoft 的实验方法文章指出，按群组分配实验时，组内观察可能相关；忽略这种关系，会低估波动并误判变化。其案例来自企业软件，不是 GEO，但提醒我们注意分组与分析单位。〔3〕

如果真正安排更新的是几个主题簇，就不能把簇内所有回答摊平，假装每条都是独立的一票。正式估计需要考虑主题和时间的相关性，以及可独立比较的单位到底有多少。

不要上午测重点组、晚上测参照组。两组应在相近时段交错采集，固定问题、语言、地区、入口和联网条件；每次开启独立会话，记录可见版本。

这些措施减少可控差异，但独立会话也不是统计独立性的保证。

采集失败要另记。不能把接口超时当作“没有推荐”，也不能悄悄删掉失败记录。如果前后或组间失败比例明显不同，应先排查采集问题。

上线日期，也未必是实际开始受影响的日期

页面周一发布，不代表所有系统周一就取得了新版本。

如果从周二开始统计，把尚未接触新信息的回答都算作“优化后”，测到的差异可能很小。反过来，只挑首次出现好结果之后的数据，也会夸大效果。

事先约定观察窗口，分别记录发布、可确认的抓取或引用时间。这些记录用于解释进展，不用来事后挑选起点。

例如，小规模探索可以先安排两周基线、两周跟踪，并固定采样时段。这个安排只是工作计划，不代表两周足以完成传播或识别效果。

若窗口结束时仍缺少新资料被使用的证据，应报告“当前无法区分传播延迟与效果不足”。需要延长观察，就记录理由和新窗口，保留此前全部结果。

先约定复盘日，到期同时查看改善、无变化和异常。不要因第一次上涨就结束，也不要因结果不理想而临时更换主指标。

把实验方案压到一页纸

软件 A 真要启动这一轮验证，可以先写下下面七项。

假设。 补充跨店排班事实与条件，可能改善对应需求中的准确推荐表现。

干预。 记录具体页面、修改内容和上线时间；这一轮只评估该内容更新方案。

分组。 按资料依赖划分主题簇，观察基线后确定参照。可行时随机安排更新批次，同时记录潜在交叉影响。

指标。 预先定义推荐判定、事实错误和有效回答口径。等权观察问题，避免反复多问容易成功的题改变总体权重。

采样。 固定问题与条件，两组交错采集；保存完整回答、引用、时间和失败记录。评阅回答时尽量隐藏前后阶段及分组，减少期待影响判定。

窗口。 先定基线、观察期和复盘日，保留传播延迟与同期活动记录，不因单日上涨提前结束。

结论规则。 先判断可比性和数据质量，再判断差异。对照失效、有效单位太少或数据缺失严重时，结论就是证据不足。

正式实验还需要根据基线波动、可用主题簇数量和希望识别的最小改善幅度来规划规模。这张清单只是设计起点，不能替代样本量与不确定性分析。

让下一次投入有依据

并不是每个 GEO 项目都具备严格实验条件。

资源有限时，保留连续基线、明确动作、固定问题和完整原始记录，已经能让复盘比两张截图更有用。但报告的语气要与设计能力相称。

如果只有前后观察，就说“更新后，固定问题集中的推荐比例上升”。

如果增加了参照，就说明两组差异、参照依据和可能的干扰。

只有设计与数据足以支持时，才进一步讨论可归因的效果，并给出不确定性范围。一次未发现明显差异，也不能自动推出“这种方法永远无效”。

GEO 团队真正需要积累的，是哪些动作在什么条件下值得继续，哪些结果还无法判断。

下一轮修改页面之前，先写下这句话：如果我们不做这次修改，准备拿什么估计它原本会怎样？

能回答它，才有机会把一次漂亮的变化，变成下一次决策的依据。

资料来源

〔1〕Google Search Central，Debugging drops in Google Search traffic。用于说明搜索表现可能受多种因素影响，不用于推断具体 AI 平台发生了何种变化。

〔2〕HM Treasury，Quality in policy impact evaluation (QPIE)，2026-05-15 更新。用于反事实、前后对照与双重差分的基础原则，不是 GEO 效果研究。

〔3〕Microsoft Research，Why Tenant-Randomized A/B Test is Challenging and Tenant-Pairing May Not Work，2020-11-04。用于群组观察相关性与分析单位问题，不直接外推该文的效应数字。

资料查阅于 2026 年 10 月 7 日，可按机构与原文标题检索。本文的 GEO 验证方案为方法应用建议，尚未执行。

GEO 深度研究：机制、证据与边界 · GDR-03