Isang pangakong binitawan namin noong Nobyembre
Noon sa aming post tungkol sa paghahambing ng dalawang sagot, may maliit kaming hiniling sa iyo: kapag nakakita ka ng dalawang sagot ng AI na magkatabi, piliin ang mas gusto mo.
Ipinangako naming may kabuluhan ang mga pagpiling iyon. Sinabi naming makakatulong ang mga preference mo para makapagrekomenda kami ng mas mahuhusay na model, mapahusay ang aming routing, at "makabuo ng mga feature na tugma sa tunay na preference ng mga user."
Ngayon, inilalabas namin ang unang feature na direktang nakabatay sa data na iyon — at gusto naming ipaliwanag sa iyo nang eksakto kung paano ito gumagana, dahil transparency ang buong punto nito.
Ang bagong model picker
Buksan ang model dropdown sa kahit anong chat. Mapapansin mong hindi na ito basta listahan ng mga pangalan. May dalawang nakikitang sukatan na ngayon ang bawat model:
- Kalidad: kung gaano kadalas ikaw at ang ibang user ang pumili sa model na ito sa mga totoong A/B na paghahambing
- Bilis: kung gaano ito kabilis talagang sumagot batay sa huling ilang daang mensahe
Iyon lang. Walang marketing badge. Walang "Editor's Choice." Walang mga "Premium" sticker na inimbento namin para i-upsell ka. Dalawang numero lang, parehong hango sa totoong data ng paggamit.
Paano gumagana ang "Kalidad" (at bakit ito naiiba)
Niraranggo ng karamihan ng AI platform ang mga model sa isa sa tatlong paraan:
- PR ng vendor: "Naglabas ang Anthropic ng bagong model, kaya ipo-promote namin ito."
- Pakiramdam ng team: "Sinubukan ito ng team namin nang isang oras at nagustuhan nila."
- Kung alin ang pinakamalaki ang bayad: "May inaalok na kickback ang partner namin ngayong buwan."
Wala sa mga ito ang nagsasabi kung talagang mahusay ang isang model para sa roleplay — na siyang dahilan kung bakit ka narito.
Ito ang ginagawa namin sa halip:
Hakbang 1: Totoong A/B na tapatan
Sa tuwing nakikita mo ang paghahambing ng dalawang sagot at pumipili ka ng isa, itinatala namin ito. Parehong prompt, parehong karakter, parehong konteksto — ang model lang ang nagbabago. Ang pagpili mo lang ang tanging signal.
Pagkalipas ng ilang buwan nito, mayroon na kaming sampu-sampung libong harapang tapatan sa lahat ng aktibong model sa platform.
Hakbang 2: Wilson Score, hindi simpleng win rate
Narito ang isang maliit pero mahalagang detalye. Kung may 4 na panalo at 1 talo ang isang model, 80% ang simpleng win rate nito. Mukhang maganda. Pero ingay lang sa estadistika ang 5 sample. Ang model na may 800 panalo at 200 talo ay may 80% win rate din, at malinaw na mas dapat nating pagkatiwalaan ang ikalawa.
Ginagamit namin ang Wilson Score Lower Bound — ang parehong algorithm na ginagamit ng Reddit para iranggo ang mga comment. Pinaparusahan nito ang maliliit na sample size, kaya kailangan ng isang model ng parehong mataas na preference at sapat na data para umakyat sa ranggo.
Kaya makakakita ka ng hanay ng maliliit na confidence dot sa tabi ng bawat model: ang ●●●●○ ay nangangahulugang "marami kaming data sa isang ito." Ang ●●○○○ ay nangangahulugang "mag-ingat sa numerong ito." Hindi namin itinatago ang kawalang-katiyakan — ipinapakita namin ito sa iyo.
Hakbang 3: Hindi namin kailanman sinasabi ang mga raw na numero
Dito kami gumuguhit ng linya para sa privacy. Ipinapakita ng picker ang win rate at ang antas ng kumpiyansa, pero hindi kailanman ang mga eksaktong bilang. Maaaring napili ang isang model nang 1,200 beses o 12,000 beses — "●●●●●" ang makikita mo para sa dalawa, dahil kapag inilantad ang eksaktong bilang, malalaman kung ilan ang user namin at kung ano ang ginagawa nila.
Sinadya namin ang trade-off na ito. Gusto naming pagkatiwalaan mo ang rating nang hindi kami nagiging analytics dashboard na puwedeng i-scrape ng kahit sino.
Paano gumagana ang "Bilis"
Isang numero ang kalidad. Ang bilis naman ay kailangang sukatin mula sa totoong mga request, hindi sa mga benchmark na sinasabi ng vendor.
May kasamang metadata ang bawat mensaheng ibinibigay namin na naglalaman ng aktuwal na time-to-first-token at tokens-per-second para sa sagot na iyon. Pinagsasama-sama namin ang pinakahuling ~50 nito kada model at ipinapakita ang median (p50) — hindi ang average.
Bakit median? Dahil nagsisinungaling ang average kapag may mga outlier. Kung karaniwang mabilis ang isang model pero tatlong gabi itong bumagal noong nakaraang linggo, sasabihin ng average na mabagal ang model. Sinasabi naman ng median kung ano ang karaniwan mong mararanasan, na siyang talagang mahalaga sa iyo.
Kapag itinapat mo ang cursor sa speed indicator, makikita mo rin ang p95 — ang pinakamasamang latency. May mga model na napakasikip ng distribusyon ng latency, at may iba namang mahaba ang buntot. Ngayon, pareho mo nang makikita.
Paano ipinapakita ang score ng "Bilis"
Mas mabilis ang pakiramdam ng sagot na 1 segundo kaysa sa sagot na 5 segundo. Halos pareho naman ang pakiramdam ng sagot na 5 segundo at ng sagot na 6 na segundo. Logarithmic ang pagdama natin sa latency, kaya naka-map sa log scale ang speed bar sa saklaw na [500ms, 20s].
Ibig sabihin, ang reasoning model na umaabot ng 18 segundo bago ang unang token (oo, totoo ito) ay lalabas na may halatang walang lamang speed bar — hindi bersyong bahagyang mas maikli lang kaysa sa model na 8 segundo. Dahil sa kutob mo, ganap na magkaiba ang pakiramdam ng dalawang karanasang iyon.
Ang mga hindi namin ginagawa
Gusto naming maging tiyak tungkol sa mga bagay na sinasadya naming iwasan:
- Walang black box na "recommended for you." Ang default na pagkakasunod ay data lang: ayon sa Wilson Score, pababa. Napupunta sa itaas ang mga Pro model dahil lang binayaran ito ng mga Pro user, hindi dahil manu-mano namin itong itinaas. Sa loob ng Pro at sa loob ng Free, purong pinaghirapan ang pagkakasunod.
- Walang pekeng badge na "bago at pinahusay." Nakakakuha lang ng tag na BAGO ang isang model kung naidagdag ito sa platform sa loob ng huling 14 na araw. Pagkatapos noon, awtomatikong natatanggal ang badge — walang taong makakapagpanatili nito.
- Walang ranggong idinidikta ng partner. Hindi kami tumatanggap ng bayad mula sa anumang AI provider para sa puwesto. Kung maglabas bukas ang OpenAI o Anthropic ng model na pinakamababa ang score sa aming mga tapatan, mapupunta ito sa ibaba ng listahan. (At sa totoo lang, ilalabas pa rin namin ito at hahayaang magsalita ang data.)
- Walang awtomatikong korona para sa pinakamahal na model. Hindi palaging ang pinakamahal naming Pro model ang may pinakamataas na kalidad sa platform ngayon. Ipinapakita namin iyon sa iyo. Hindi namin ito itinatago.
Ang grupong "Sinusuri"
Kapag bagong-bago ang isang model, wala pa itong sapat na A/B data para magkaroon ng makabuluhang Wilson Score. Nakaliligaw kung basta na lang lalagyan ito ng 50% win rate.
Kaya napupunta ang mga bagong model sa grupong Sinusuri sa itaas ng picker. Ipinapakita nila ang kanilang bilis (na agad naming nasusukat) pero "Nangongolekta ng data" ang nakasulat kung saan dapat naroon ang numero ng kalidad. Kapag nakaipon na sila ng sapat na tapatan, awtomatiko silang lilipat sa pangunahing listahan ng ranggo.
Lagi mong malalaman kung makabuluhan sa estadistika ang rating na tinitingnan mo o pansamantalang placeholder lang.
Bakit ito mahalaga
Puno ang larangan ng AI companion ng mga platform na malakas magsalita tungkol sa "pinakamahuhusay na model" nang hindi ka man lang pinapakitaan ng kahit isang numero. May ilan na nagtatago ng mas murang model sa likod ng premium na presyo. May ilan na dinadala ka sa kung aling model ang naka-sale sa buwang iyon. May ilan na nanghuhula lang.
Iba ang pinili naming default: sabihin sa iyo ang totoo, ipakita ang kuwenta, hayaan kang magpasya.
Hindi mo kailangang maniwala sa amin kapag sinabi naming mahusay ang isang model. Puwede mong tingnan ang bar, makita ang mga confidence dot, itapat ang cursor para sa p95, at magpasya ka mismo. Kung sa tingin mo ay mali ang data, tumatakbo pa rin ang paghahambing ng dalawang sagot sa mga chat mo — at gagalaw ang numero sa susunod mong boto ng preference.
Paalala: Lahat ay opisyal na API
Magandang pagkakataon din ito para ulitin ang nasabi na namin dati: ibinibigay ang bawat model sa picker sa pamamagitan ng opisyal na API ng provider. Walang fine-tuned na gaya-gaya. Walang quantized na pamalit. Walang misteryosong "katumbas ng GPT-4" na model mula sa third party.
Kung "Claude Opus 4.6" ang nakasulat sa picker, Claude Opus 4.6 ang kausap mo. Kung "DeepSeek V3.2" ang nakasulat, DeepSeek V3.2 ang kausap mo. May kabuluhan ang mga quality score dahil mismong totoo ang mga model.
Ano ang susunod
Ang picker ang nakikitang bahagi. Marami pa kaming gustong gawin gamit ang data na ito:
- Mga rekomendasyon kada karakter. Magkakaiba ang husay ng mga model sa iba't ibang uri ng karakter. Dapat makatulong ang aming preference data para makapagmungkahi kami ng "mas gusto ng mga user ang model X para sa ganitong klaseng karakter."
- Personalized na ranggo. Sa ngayon, iisang global na ranggo ang nakikita ng lahat. Balang araw, dapat ang mga paborito mong model ang mapunta sa itaas, batay sa sarili mong mga nakaraang pagpili.
- Live na alerto sa kalusugan ng model. Kung magkaproblema ang API ng isang provider at tumaas ang TTFT, dapat makita iyon sa picker sa loob ng isang oras, hindi kinabukasan.
Pero lahat ng iyon ay nangangailangan ng pundasyon ng tapat na data. Iyon ang pundasyong inilalabas namin ngayon.
Buksan ang model picker sa susunod mong chat at tingnan ito. Kung bumoto ka na sa mga paghahambing ng dalawang sagot, may bakas ka sa bawat numerong nakikita mo.