我們在 11 月許下的承諾
在介紹雙回覆比較的那篇文章裡，我們請你做一件小事：當你看到兩則 AI 回覆並排出現時，選出你比較喜歡的那一則。
我們承諾過，這些選擇一定會有意義。我們說過，你的偏好將幫助我們推薦更好的模型、最佳化路由，並「打造真正符合使用者偏好的功能」。
今天，我們推出第一個直接建立在這些資料上的功能——我們想一步步說明它到底如何運作，因為透明正是重點所在。
全新的模型選擇器
在任何聊天中開啟模型下拉選單，你會發現它不再只是一串平鋪直敘的名稱。現在每個模型都會顯示兩項指標：
- 品質：在真實的 A/B 比較中，你和其他使用者有多常選擇這個模型
- 速度：根據最近幾百則訊息，它實際的回覆速度有多快
就這樣。沒有行銷徽章，沒有「編輯精選」，也沒有我們為了向你推銷升級而自己編出來的「高級」標籤。只有兩個數字，而且都來自真實的使用資料。
「品質」如何計算（以及它有何不同）
大多數 AI 平台用以下三種方式之一為模型排名：
- 廠商公關：「Anthropic 推出新模型了，所以我們就主打它。」
- 內部感覺：「我們團隊試用了一小時，覺得還不錯。」
- 誰給的錢最多：「我們的合作夥伴這個月給了回扣。」
這些都無法告訴你，一個模型是否真的適合角色扮演——而那正是你來這裡的目的。
我們的做法是這樣的：
第一步：真實的 A/B 對決
每當你看到雙回覆比較並選了其中一則，我們都會記錄下來。同樣的提示詞、同樣的角色、同樣的上下文——只有模型不同。你的選擇是唯一的訊號。
經過幾個月的累積，我們已經擁有平台上所有活躍模型之間數以萬計的一對一對決。
第二步：用 Wilson Score，而不是單純的勝率
這裡有個不起眼但很重要的細節。如果一個模型 4 勝 1 敗，它的單純勝率是 80%，聽起來很厲害。但 5 個樣本只是統計雜訊。一個 800 勝 200 敗的模型勝率同樣是 80%，而我們顯然應該更相信後者。
我們採用 Wilson Score 下限——也就是 Reddit 用來排序留言的同一套演算法。它會懲罰樣本數太少的情況，所以模型必須同時擁有高偏好率和足夠的資料，才能在排名中往上爬。
這就是為什麼你會在每個模型旁邊看到一排信賴度小圓點：●●●●○ 代表「這個模型的資料很多」，●●○○○ 代表「這個數字請謹慎看待」。我們不隱藏不確定性——而是直接攤在你眼前。
第三步：我們絕不公開原始數字
這裡我們劃了一條隱私界線。選擇器會顯示勝率和信賴度，但絕不顯示絕對次數。一個模型可能被選了 1,200 次，也可能是 12,000 次——你看到的都會是「●●●●●」，因為公開確切次數，就等於洩露我們有多少使用者、他們又在做些什麼。
這是刻意的取捨。我們希望你信任這個評分，但不想讓這裡變成任何人都能爬取的分析儀表板。
「速度」如何計算
品質是一個數字。速度則必須從真實的請求中測量，而不是採用廠商自己宣稱的基準測試結果。
我們提供的每則訊息都附帶一段中繼資料，記錄那次回覆實際的首個 Token 延遲和每秒 Token 數。我們彙整每個模型最近約 50 筆這類資料，並顯示中位數（p50）——而不是平均值。
為什麼用中位數？因為一有極端值，平均值就會騙人。如果一個模型平常很快，但上週有三個晚上特別慢，平均值就會告訴你這個模型很慢。中位數告訴你的，則是你通常會遇到的情況，而那才是你真正在意的。
把滑鼠游標移到速度指標上，你還會看到 p95——也就是最差情況下的延遲。有些模型的延遲分布非常集中，有些則拖著長長的尾巴。現在兩者你都看得到。
「速度」分數如何視覺化
1 秒的回覆感覺比 5 秒的回覆快得多，但 5 秒和 6 秒的回覆，感覺卻幾乎一樣。人對延遲的感知是對數性的，所以速度條是在 [500ms, 20s] 的範圍內以對數刻度呈現。
這表示一個首個 Token 要等 18 秒的推理模型（沒錯，這是真的）會顯示成一條明顯空蕩蕩的速度條——而不是只比 8 秒的模型稍短一點。因為在你的直覺裡，這兩種體驗完全是兩回事。
我們不做的事
我們想具體說明，哪些事情是我們刻意避免的：
- 沒有「為你推薦」的黑箱。 預設排序就是資料本身：依 Wilson Score 由高到低排列。Pro 模型會浮到最上面，只是因為 Pro 使用者為它們付了費，而不是我們手動加權。在 Pro 和 Free 各自的範圍內，排序完全憑實績。
- 沒有虛假的「全新升級」徽章。 只有在過去 14 天內加入平台的模型，才會掛上 NEW 標籤。之後徽章就會自動消失——沒有人能讓它一直釘在上面。
- 沒有合作夥伴主導的排名。 我們不收任何 AI 供應商的版位費。如果 OpenAI 或 Anthropic 明天推出一個在我們的對決中墊底的模型，它就會待在清單最底部。（老實說，我們還是會照樣上架，讓資料自己說話。）
- 不迷信最貴的模型。 我們最貴的 Pro 模型，不一定就是目前平台上品質最高的模型。我們會讓你看到這一點，不會隱藏。
「評估中」分組
模型剛上線時，還沒有足夠的 A/B 資料來算出有意義的 Wilson Score。這時在旁邊硬貼一個 50% 勝率，只會造成誤導。
所以新模型會放進選擇器頂端的評估中分組。它們會顯示速度（這我們能立即測量），但原本顯示品質數字的位置會寫著「資料收集中」。累積足夠的對決後，它們就會自動晉升到主要排名清單。
你永遠都會知道，眼前的評分是有統計意義的，還是只是暫時佔位。
為什麼這很重要
AI 陪伴領域充斥著把「最好的模型」掛在嘴邊、卻從不給你看任何一個數字的平台。有些用便宜的模型充當高價方案；有些每個月把你導向正在打折的模型；有些乾脆用猜的。
我們選擇不同的預設做法：告訴你真相、讓你看到計算方式、由你自己決定。
你不必因為我們說某個模型好就相信我們。你可以看看指標長條、看看信賴度圓點、把游標移上去看 p95，然後自己下判斷。如果你覺得資料有誤，雙回覆比較仍在你的聊天中持續進行——你下一次的偏好投票就會讓數字跟著變動。
提醒一下：全部都是官方 API
正好趁這個機會重申我們說過的話：選擇器中的每一個模型，都是透過官方供應商的 API 提供。 沒有微調過的山寨版，沒有量化過的替身，也沒有來自第三方、號稱「GPT-4 等級」的神秘模型。
如果選擇器顯示「Claude Opus 4.6」，你對話的就是 Claude Opus 4.6。如果顯示「DeepSeek V3.2」，你對話的就是 DeepSeek V3.2。品質分數之所以有意義，正是因為這些模型貨真價實。
接下來
選擇器只是看得見的部分。我們還想用這些資料做更多事：
- 依角色推薦。 不同模型擅長不同的角色原型。我們的偏好資料應該能讓我們提出「使用者在這類角色上通常偏好模型 X」這樣的建議。
- 個人化排名。 目前每個人看到的都是同一份全域排名。未來，你應該會看到你自己偏好的模型，依據你過去的選擇浮到最上面。
- 即時模型健康警示。 如果某個供應商的 API 狀況不佳、TTFT 飆升，選擇器應該在一小時內就反映出來，而不是等到隔天。
但這一切都需要以誠實的資料為基礎。今天我們推出的，就是這個基礎。
在下一次聊天時開啟模型選擇器看看吧。如果你曾在雙回覆比較中投過票，你看到的每個數字上都留有你的指紋。