我们怎么建的
产生你那些数字的系统,是我们自己建的。下面说它做什么,以及它做不到什么。
测量系统是我们自己建的
它不是转售别人的仪表板,也不是一叠截图。由创办人建立,报告里的每个数字都能追溯到一则一则的回答。
它做什么
- 题库:由我们根据真实的客户情境撰写,每种语言一套,不含品牌名称。
- 多引擎、多语言:ChatGPT、Gemini、Perplexity、DeepSeek、豆包和元宝,用英文、简体中文、繁体中文和马来文提问(豆包和元宝只用中文)。
- 重复抽样:每个问题在每个引擎上问多次,报告平均值和波动范围。
- 商家抽取与合并:由 AI 模型列出每则回答提到的商家;我们把不同写法、简繁体和公司后缀合并成同一家。
- 引用来源分类:回答引用的每个网站,标为自家网站、对手网站、第三方网站(名录、媒体、评论、旅游局),还没确认属于谁的标为「无法判断」。
- 每月用同一组题:追踪时重测同一组题,所以数字的变化来自 AI 的变化,而不是题目的变化。
它做不到什么
- 我们通过各引擎的 API 测试,不是消费者 App,所以结果可能和真人在 App 里看到的不同。
- 豆包目前在不联网的状态下测量,反映的是模型训练时学到的内容。
- DeepSeek 和元宝使用第三方搜索(Exa),不是它们自己的搜索。
- 我们测的是 AI 有没有提到并推荐你,不是客户之后有没有下单。