我們怎麼建的
產生你那些數字的系統,是我們自己建的。下面說它做什麼,以及它做不到什麼。
測量系統是我們自己建的
它不是轉售別人的儀表板,也不是一疊截圖。由創辦人建立,報告裡的每個數字都能追溯到一則一則的回答。
它做什麼
- 題庫:由我們根據真實的客戶情境撰寫,每種語言一套,不含品牌名稱。
- 多引擎、多語言:ChatGPT、Gemini、Perplexity、DeepSeek、豆包和元寶,用英文、簡體中文、繁體中文和馬來文提問(豆包和元寶只用中文)。
- 重複抽樣:每個問題在每個引擎上問多次,報告平均值和波動範圍。
- 商家抽取與合併:由 AI 模型列出每則回答提到的商家;我們把不同寫法、簡繁體和公司後綴合併成同一家。
- 引用來源分類:回答引用的每個網站,標為自家網站、對手網站、第三方網站(名錄、媒體、評論、旅遊局),還沒確認屬於誰的標為「無法判斷」。
- 每月用同一組題:追蹤時重測同一組題,所以數字的變化來自 AI 的變化,而不是題目的變化。
它做不到什麼
- 我們透過各引擎的 API 測試,不是消費者 App,所以結果可能和真人在 App 裡看到的不同。
- 豆包目前在不聯網的狀態下測量,反映的是模型訓練時學到的內容。
- DeepSeek 和元寶使用第三方搜尋(Exa),不是它們自己的搜尋。
- 我們測的是 AI 有沒有提到並推薦你,不是客戶之後有沒有下單。