大多数人工智能可见性报告都是基于每次提示运行一次的结果。这相当于把抛硬币的结果当作测量数据来报告。当 Thinking Machines Lab 向温度为 0 的 Qwen3-235B 发送 1,000 个相同的请求时,它返回了 80 个不同的完成第一个分歧出现在第 103 个标记处(思维机器实验室,2025年9月10日消费者助手在此基础上增加了个性化、本地化和静默模型更新功能。本指南面向增长和SEO负责人,他们经常被问及品牌是否出现在ChatGPT、Gemini或Google AI模式中,并且需要一个经得起质疑的答案。指南最后将包含一个提示面板、一个基于所需精度计算的运行次数统计表、一个评分标准,以及一个用于判断不同版本之间变化是否真实的规则。
衡量两个二元事件,而不是排名。
人工智能答案中没有排名。答案包含一段文字,其中可能提及您的名字,也可能不提及;此外,答案还包含一个来源列表,其中可能包含您的域名,也可能不包含。计量单位是一。 观察:一次提示,一次运行,针对一位助手,使用一种语言和区域设置,在特定的日期进行。每次提示都会产生两种二元结果。
- 提到: 品牌名称出现在答案文本中。
- 引文: 您域名上的 URL 会出现在来源或内联链接中。
其他一切都由此衍生而来。声量份额是指在同一答案集中,您的品牌被提及的次数占所有品牌被提及次数的比例。引用效率是指引用次数与被提及次数之比:它能告诉您,人们描述您是出于对品牌的固有印象,还是真的阅读过您的内容。
二元结果将其转化为比例估计,而比例估计有完善的区间方法(Brown、Cai 和 DasGupta, 统计科学, 2001)。综合“AI可见性评分”没有任何可比性,包括它上个月的值:我们找不到供应商之间共享的定义,因此跨工具比较是不可用的。
构建提示面板,然后锁定它。
面板是一个固定的提示列表,每次运行都会重新执行。如果列表在两次运行之间发生变化,你测量的任何指标都不会反映可见性的变化。
- 需求来源源于真实需求。 从搜索控制台、网站搜索日志和销售记录中提取问题形式的查询。研讨会上提出的提示语可以衡量团队的想象力。
- 按意图分层。 分为四个层级:品类层级(“最适合 Y 的产品是 X”)、对比层级(“A 与 B 的比较”)、问题层级(“如何解决 Z 问题”)和品牌层级(“该品牌好不好?”)。固定每个层级的数量,以避免产品组合的变化被误认为是可见度的变化。
- 提示数设置为 40 到 80。 面板间隔小于 40 时过宽,无法进行有效操作。大于 80 时,运行成本增长速度超过精度提升速度。
- 将每种语言视为一个独立的面板。 土耳其语搜索词及其英语翻译会返回不同的品牌、不同的引用,而且通常还会返回不同的类别框架。谷歌在人工智能模式扩展到 53 种新语言时也添加了土耳其语。 19 February 2026 (语言列表如果你只提供土耳其市场的英文数字,那么你描述的市场你并没有服务过。
- 将面板冻结四分之一 并进行版本控制。仅在四分之一边界处添加提示,并在添加提示时重新设定基线。
决定每个提示运行多少次
每次运行都是抽取结果,而非查找结果,因此每个提示运行一次所得的值没有精度。表格给出了在每次提示提及率为 50%(最坏情况,也是安全的规划假设)时,95% 威尔逊置信区间的半宽度。
| 每个提示符运行 | 误差范围 | 你真心话 |
|---|---|---|
| 1 | 未定义 | 没什么。这只是个轶事。 |
| 5 | ±33 分 | 分诊:经常、有时、从不 |
| 10 | ±26 分 | 强提示音与死提示音 |
| 20 | ±20 分 | 排名提示分为三个层级 |
| 30 | ±17 分 | 检测到每次提示的较大变化 |
| 100 | ±10 分 | 以数字形式报告每次提示率 |
每次提示的精确度成本很高,而且很少需要。企业询问的数字是…… 面板级利率:提及总数除以观察总数。一个包含 60 个提示的面板,运行 5 次,每次每位助手可获得 300 个观察结果,在 50% 置信水平下,其简单半宽度约为 ±5.7 个点。
这种说法过于乐观,因为同一提示的多次运行结果之间存在相关性。应用聚类设计效应:将方差乘以 1 + (每个提示的运行次数 − 1) × ICC,即提示内相关性,该相关性应根据您自己的第一轮数据估算,而不是假设值。如果 5 次运行后 ICC 值接近 0.5,则有效样本量更接近 100 个观测值,真实半宽度更接近 ±10 个点。在承诺提供仪表盘之前,请考虑这一点。
我们的默认设置: 60 个提示,每个提示运行 5 次,每个助教、每种语言运行 5 次,分四周进行。报告小组和层级,并注明时间间隔,每个提示的结果仅以层级形式呈现。
控制运行条件
非确定性是底线。低于这个底线的一切都是你自行添加的变异性。
- 关闭个性化设置。 在 ChatGPT 中使用临时聊天功能, 不使用或创建记忆否则,内存会调用自定义指令、过去的聊天记录和文件(内存常见问题解答因此,登录的分析师可以衡量自己的历史数据。
- 修复区域设置和界面语言 并将两者记录下来。
- 记录型号版本和时间戳 每次观测,或者在两波之间进行模型更新,都会显示您的活动正在奏效。
- 每位助理使用一种收款方式 整个季度。API 和消费者应用程序的检索方式不同;将它们混放在同一个系列中毫无意义。
- 随机化提示顺序 并将运行分散到一天中,这样服务器负载(导致非确定性背后的批处理大小变化)就不会与提示列表混淆。
使用固定的评分标准对每次观察结果进行评分
两位分析师必须根据同一答案得出相同的分数。使用封闭式评分标准,并记录出现平局时的理由。
| 成绩 / 分数 | Condition | 也记录 |
|---|---|---|
| 0 | 品牌未出现在答案和来源中 | 哪些品牌出现了? |
| 1 | 品牌名称,与您的域名无关 | 情绪:正面、中立、错误 |
| 2 | 品牌名称和您的域名被引用 | 引用了哪个网址? |
| 3 | 品牌被优先提及或推荐,并被引用 | 引用网址和竞争对手集 |
将与事实不符的描述记为 1 分并标记出来。对定价或承保范围的自信错误描述既能提升品牌知名度,又会造成商业问题,而这往往是这项工作最有价值的发现。为了校准评分标准,可以安排两位评分员对第一轮的 30 个答案进行评分;如果出现超过三个不同的评分结果,则说明评分标准过于宽松。
判断变化是否真实发生
按顺序运行此程序,并在第一次失败时停止。
- 各波段的95%置信区间是否存在重叠? 如果答案是肯定的,请报告未检测到变化,而不是点差值。
- 模型版本有变化吗? 如果答案是肯定的,那么比较就会变得复杂:先将之前的版本与新版本进行对比。
- 这种变化是否持续了两波? 一个波形是信号,两个波形是发现。
- 它集中在某一地层吗? 如果品牌层面没有出现任何提示,而类别层面却没有出现提示,这通常是品牌需求,而不是人工智能可见性工作。
- 引用效率是否随提及率的变化而变化? 提及次数上升而引用次数保持不变,意味着该模型正在凭记忆描述你:价值降低,并且会衰退。
将面板连接到商业设备。
曝光度是领先指标,而非最终结果。将助手推荐流量作为独立的分析渠道,并观察其会话数和转化率与自然搜索流量的对比情况。预计流量较低,单次会话转化率较高,且绝对值可能低于预期,这可能会让那些先看到曝光度上升图表的人感到失望。务必提前说明这一点。
平台权重很重要。Similarweb 的 2025 年 6 月至 2026 年 5 月的面板数据显示,ChatGPT 在生成式 AI 平台中的份额接近 53%,低于一年前的约 76%,Gemini 为 27% 至 28%,Claude 接近 9%(Similarweb)小组估计,而不是人口普查:用它们来选择要纳入哪些助理,而不是用来衡量总体数字。
【需要内部数据:来自Switas小组的电子商务、旅游和医疗保健客户的提及率中位数和引用效率,以及我们自身调查中观察到的提示内相关性。】
这种方法失效的地方
- 你无法大规模收集到这些答案。 谷歌的AI模式没有公开的测量API,而且自动数据采集会违反服务条款。可以将其视为一个较小的手动子面板,并已明确标注。
- 它无法衡量传统的搜索引擎排名损失。 在土耳其,人工智能概览项目已推出。 18 February 2026 一项针对 17 个行业 1,035 个实时查询的研究发现,其中 59% 的查询包含 AI 概述,到 2026 年 6 月,信息查询的点击量将下降约三分之一,而平均排名几乎没有变化 (斯特拉迪吉面板无法检测到这种情况,但搜索控制台可以。
- 后期推广市场的基线较短。 报告水平和间隔,而不是趋势线,直到出现四个波浪。
- 非决定论无法从外部解决。 批处理不变内核仅对执行推理的人员移除该项。作为托管助手的用户,您只能对其进行平均处理。
- 面板漂移。 冻结的样本组对于可比性来说是正确的,但两三个季度后,它对市场走势的判断是错误的。
常见问题
第一幅漫画需要多少个提示?
40 是实际可行的最低值,60 是我们的默认值。低于 40 时,面板间隔过宽,大多数季度环比变化与噪声难以区分。按目的分层,并保持每层计数固定。
将温度设为零能使结果可重复吗?
不。零温度消除了采样随机性,但并未消除因服务器负载变化导致的批处理大小差异,这就是为什么在 Thinking Machines 的实验中,1,000 个相同的零温度请求产生了 80 种不同的完成结果。应该对多次运行结果取平均值,而不是追求确定性。
我可以直接使用供应商的AI可见性评分吗?
如果供应商提供的工具可以节省时间,可以使用它们进行数据收集,但要根据原始观测值重建指标。不同工具对综合评分的定义并不一致,有些工具每次提示只报告一次运行结果。务必询问供应商,每个数据点背后代表多少次运行。
我应该多久运行一次波浪式训练?
大多数品牌每四周进行一次数据采集。每周的采集主要用于重新测量噪声和更新模型。如果内容或结构化数据发生重大变化,则应在四周后而非下一周进行采集。
土耳其语和英语的提示信息应该放在同一个面板中吗?
不。应该分别运行不同的样本组,并使用不同的基准线。答案集、引用的领域和竞争格局会因语言而异,因此将它们混合在一起会产生一个平均值,该平均值无法代表任何市场。
如果助手链接到的是市场列表而不是我的网站,那么什么样的引用才算数?
将其记为未引用提及,并单独记录引用的域名。市场引用模式通常表明您自身页面的内容或结构化数据存在不足,而非品牌知名度问题。
作为我们增长和技术 SEO 工作的一部分,我们设计和运营 AI 可见性面板:面板设计、跨助手和语言的波次收集、评分校准以及将其与收入联系起来的分析细分。 请和我们谈谈第一波基线波的情况。.







