我们如何测量
我们做什么、如何计算,以及数字在哪里不再可靠。
为何每条问题要问不止一次
AI 的回答并不固定:同一个问题,每次都可能得到不同答案。我们在每个引擎上把每条问题重复多次,按每一轮抽样分别计算提及率,并报告平均值与最小至最大的范围。
各引擎的搜索来源
联网搜索在各供应商端运行。ChatGPT 与 Gemini 使用各自供应商的原生搜索;Perplexity 的搜索内置于模型;DeepSeek 使用第三方搜索(Exa)。元宝同样使用第三方搜索(Exa)。豆包目前以不联网方式测量,结果反映模型训练资料中的认识,与联网引擎的提及率不可直接比较。两者都只以中文题目提问。
通过 API 取得的结果,与一般人在供应商 App 内看到的并不完全相同。我们测量的是这些引擎经 API 作答的结果。
测量的型号:ChatGPT — GPT-6 Luna;Gemini — 3.6 Flash;Perplexity — Sonar;DeepSeek — V4.1 Flash;豆包 — Seed 2.1 Turbo,不联网(App 免费版为 2.1 自动 / Lite,国际版 API 无 Lite 版本);元宝 — Hy3。型号会随供应商更新而调整,以报告中标示为准。
地区差异
由于搜索在供应商端运行,结果不受我们服务器所在位置影响。地区差异来自问题中写明的地点与语言。
如何辨识品牌
我们结合 AI 实体抽取(由 AI 模型列出每则回答提到的商户)与每个品牌的别名比对,并处理简繁转换与公司后缀。
在品牌自身场地内营运的设施(例如度假区内的水上乐园)视为同一品牌;涵盖多家业者的目的地名称则不是。
语言比较如何计算
平行测试中,我们为每种语言各写一次同一个情境,地点、预算与情况都相同。对每个情境与语言,我们取 AI 所推荐的商户,只保留在至少 2 则回答中出现的。
再对每一对语言计算重叠程度:两份名单都有的商户数,除以任一份名单有的商户数。主要数字是所有语言配对的中位数。商户以官方英文名称合并。
已知限制
- 样本不大:精简诊断中,每种语言、每个情境只有 12 则回答。几个百分点的差异属于噪声。
- AI 模型经常更新。结果只描述某一模型版本在某一日期的表现,之后可能改变。
- API 的结果与一般人在 App 内看到的并不相同。
- 部分引擎引用来源的稳定性较低,因此它们的引用统计并不完整。
- 重叠分数取决于有多少商户通过「2 则回答」的门槛。回答差异很大的行业(例如餐厅),分数会较低也较不稳定。
- 我们测量的是 AI 有没有提到、推荐某个商户,并非顾客之后有没有采取行动。
- 问题由我们撰写,力求贴近真实,但并不代表所有顾客会问的问题。
最后更新: 2026 年 11 月 3 日