同一个问题换一种语言,AI 推荐的名单平均约有一半不同
发表日期: 2026年11月3日
我们在马来西亚四个行业,以四到五种语言向四个 AI 引擎提出相同的真实情境问题。各语言推荐的名单约有一半相同,依行业从 21% 到 63% 不等。
我们问了什么
我们为每种语言各写一次真实顾客会问的问题,每条都有地点、预算与情境。同一个情境以英文、简体中文、繁体中文与马来文提问(私立医院另加印尼文)。每个情境在四个 AI 引擎(ChatGPT、Gemini、Perplexity、DeepSeek)上各问三次。
我们在马来西亚测试四个行业:私立大学、景点与乐园、私立医院、餐厅。合计收集 612 则回答。
主要发现
- 各语言推荐的商户约有一半不同。 四个行业合计,两种语言推荐名单的重叠程度中位数为 50%(84 组语言配对,范围 0% 至 100%)。
- 视行业而定。 私立医院的名单最一致,餐厅最不一致:
| 行业 | 语言配对数 | 重叠中位数 | 范围 |
|---|---|---|---|
| 私立医院 | 30 | 63% | 38%–89% |
| 私立大学 | 18 | 56% | 21%–100% |
| 景点与乐园 | 18 | 40% | 33%–64% |
| 餐厅 | 18 | 21% | 0%–46% |
- 名单的内核不变,边缘会变。 前三个行业中,有一小群商户在每种语言都被推荐,其他则只出现在一两种语言。餐厅的回答最分散,几乎没有共同的内核。
- 引擎之间的差异不亚于语言之间的差异。 在四个行业中的三个,DeepSeek 与 Gemini 提到我们追踪的商户,次数远多于 ChatGPT 与 Perplexity:
| 引擎 | 大学 | 景点 | 医院 | 餐厅 |
|---|---|---|---|---|
| DeepSeek | 81% | 8% | 64% | 14% |
| Gemini | 50% | 0% | 67% | 8% |
| Perplexity | 17% | 11% | 24% | 0% |
| ChatGPT | 0% | 0% | 22% | 0% |
每个数字是回答中提到该行业我们所追踪的那一家商户的比例。
这代表什么
- 只看英文结果,只看到顾客被告知的一部分。用中文或马来文提问的顾客,可能得到明显不同的名单。
- 跨引擎的平均值会掩盖很大的落差。同一家商户可能在一个引擎的大多数回答中被提到,在另一个引擎却一次都没有。
- 回答非常分散的行业(例如餐厅),先被提到才是第一个目标。
方法与限制
这些精简测试中,每种语言、每个情境有 12 则回答,几个百分点的差异属于噪声。重叠程度只计算被 AI 推荐、且在该情境与语言下至少出现 2 则回答的商户。这是四次测试、同一日期、同一国家;AI 模型经常更新。定义与限制请见「方法」页。
数据收集于 2026 年 11 月 1 日与 3 日。所有发现均已匿名处理。