Een belofte uit november
In ons bericht over het vergelijken van twee antwoorden vroegen we je iets kleins: als je twee AI-antwoorden naast elkaar zag, kies dan het antwoord dat je beter vond.
We beloofden dat die keuzes ertoe zouden doen. We zeiden dat jullie voorkeuren ons zouden helpen betere modellen aan te bevelen, onze routering te optimaliseren en "functies te bouwen die aansluiten bij echte gebruikersvoorkeuren".
Vandaag brengen we de eerste functie uit die rechtstreeks op die data is gebouwd - en we willen je precies laten zien hoe die werkt, want transparantie is waar het allemaal om draait.
De nieuwe modelkiezer
Open het modelmenu in een willekeurige chat. Je ziet dat het geen platte lijst met namen meer is. Elk model heeft nu twee zichtbare meetwaarden:
- Kwaliteit: hoe vaak jij en andere gebruikers de voorkeur gaven aan dit model in echte A/B-vergelijkingen
- Snelheid: hoe snel het werkelijk reageert, gebaseerd op de laatste paar honderd berichten
Dat is alles. Geen marketingbadges. Geen "Keuze van de redactie". Geen "Premium"-stickers die we hebben verzonnen om je iets duurders aan te smeren. Alleen twee getallen, allebei afgeleid van echte gebruiksdata.
Hoe "Kwaliteit" werkt (en waarom het anders is)
De meeste AI-platforms rangschikken modellen op een van deze drie manieren:
- PR van de leverancier: "Anthropic heeft een nieuw model uitgebracht, dus dat promoten we."
- Intern onderbuikgevoel: "Ons team heeft het een uurtje getest en vond het goed."
- Wat het meeste oplevert: "Onze partner biedt ons deze maand een vergoeding."
Geen van deze vertelt je of een model echt goed is voor roleplay - en daarvoor ben je hier.
Dit is wat wij in plaats daarvan doen:
Stap 1: echte A/B-duels
Elke keer dat je de vergelijking van twee antwoorden zag en het ene boven het andere koos, hebben we dat vastgelegd. Dezelfde prompt, hetzelfde personage, dezelfde context - alleen het model was anders. Jouw keuze was het enige signaal.
Na maanden hiervan hebben we tienduizenden onderlinge duels tussen alle actieve modellen op het platform.
Stap 2: de Wilson-score, geen naïef winstpercentage
Hier zit een subtiel maar belangrijk detail. Als een model 4 keer wint en 1 keer verliest, is het naïeve winstpercentage 80%. Klinkt geweldig. Maar 5 metingen is statistische ruis. Een model met 800 overwinningen en 200 nederlagen heeft ook een winstpercentage van 80%, en dat tweede model zouden we natuurlijk meer moeten vertrouwen.
We gebruiken de ondergrens van de Wilson-score - hetzelfde algoritme dat Reddit gebruikt om reacties te rangschikken. Het bestraft kleine steekproeven, dus een model heeft zowel een sterke voorkeur als genoeg data nodig om in de ranglijst te stijgen.
Daarom zie je naast elk model een rijtje kleine betrouwbaarheidsstippen: ●●●●○ betekent "we hebben veel data over dit model". ●●○○○ betekent "wees voorzichtig met dit getal". We verbergen de onzekerheid niet - we laten haar aan je zien.
Stap 3: we tonen je nooit de ruwe aantallen
Hier trekken we een privacygrens. De kiezer toont je het winstpercentage en het betrouwbaarheidsniveau, maar nooit de absolute aantallen. Een model kan 1.200 of 12.000 keer gekozen zijn - je ziet in beide gevallen "●●●●●", want exacte aantallen zouden verraden hoeveel gebruikers we hebben en wat ze doen.
Dat is een bewuste afweging. We willen dat je de beoordeling vertrouwt, zonder dat we een analysedashboard worden dat iedereen kan scrapen.
Hoe "Snelheid" werkt
Kwaliteit is één getal. Snelheid moet worden gemeten aan echte verzoeken, niet aan benchmarks die de leverancier zelf claimt.
Elk bericht dat we leveren bevat metadata met de werkelijke time-to-first-token en tokens per seconde voor dat antwoord. We bundelen de recentste ~50 daarvan per model en tonen de mediaan (p50) - niet het gemiddelde.
Waarom de mediaan? Omdat gemiddelden liegen als er uitschieters zijn. Als een model normaal snel is maar vorige week drie trage avonden had, vertelt het gemiddelde je dat het model traag is. De mediaan vertelt je wat je meestal zult ervaren, en daar gaat het je eigenlijk om.
Als je over de snelheidsindicator beweegt, zie je ook de p95 - de vertraging in het slechtste geval. Sommige modellen hebben een heel smalle spreiding in reactietijd, andere hebben lange staarten. Nu kun je beide zien.
Hoe de "Snelheid"-score wordt weergegeven
Een antwoord van 1 seconde voelt veel sneller dan een antwoord van 5 seconden. Een antwoord van 5 seconden voelt bijna hetzelfde als een van 6 seconden. We ervaren vertraging logaritmisch, dus de snelheidsbalk staat op een logaritmische schaal van [500ms, 20s].
Dat betekent dat een redeneermodel dat 18 seconden nodig heeft voor het eerste token (ja, dat komt echt voor) zichtbaar met een lege snelheidsbalk verschijnt - niet als een iets kortere versie van een model van 8 seconden. Want in je onderbuik voelen die twee ervaringen totaal verschillend.
Wat we niet doen
We willen concreet zijn over de dingen die we bewust vermijden:
- Geen ondoorzichtige "aanbevolen voor jou". De standaardsortering is gewoon de data: op Wilson-score, aflopend. Pro-modellen komen bovenaan te staan alleen omdat Pro-gebruikers ervoor hebben betaald, niet omdat wij ze handmatig een duwtje hebben gegeven. Binnen Pro en binnen Gratis is de volgorde puur verdiend.
- Geen nepbadges als "nieuw en verbeterd". Een model krijgt alleen het label NIEUW als het in de afgelopen 14 dagen aan het platform is toegevoegd. Daarna verdwijnt de badge automatisch - niemand kan hem vastzetten.
- Geen ranglijst die door partners wordt bepaald. We nemen van geen enkele AI-aanbieder geld aan voor een plek in de lijst. Als OpenAI of Anthropic morgen een model uitbrengt dat het slechtst scoort in onze duels, staat het onderaan de lijst. (En eerlijk gezegd zouden we het toch uitbrengen en de data laten spreken.)
- Geen voorsprong voor het duurste model. Ons duurste Pro-model is op dit moment niet altijd het model van de hoogste kwaliteit op het platform. Dat laten we je zien. We verbergen het niet.
De groep "In evaluatie"
Als een model gloednieuw is, heeft het nog niet genoeg A/B-data voor een zinvolle Wilson-score. Er een winstpercentage van 50% naast zetten zou misleidend zijn.
Daarom komen nieuwe modellen in een groep In evaluatie bovenaan de kiezer. Ze tonen hun snelheid (die we meteen kunnen meten), maar waar het kwaliteitsgetal zou staan, staat "Gegevens verzamelen". Zodra ze genoeg duels hebben verzameld, schuiven ze automatisch door naar de gewone ranglijst.
Je weet dus altijd of de beoordeling die je ziet statistisch zinvol is of slechts een tijdelijke invulling.
Waarom dit ertoe doet
De wereld van AI-companions zit vol platforms die hoog opgeven over "de beste modellen" zonder je ooit één getal te laten zien. Sommige verkopen goedkopere modellen tegen premiumprijzen. Sommige sturen je door naar het model dat die maand in de aanbieding is. Sommige gokken gewoon maar wat.
Wij kiezen een ander uitgangspunt: je de waarheid vertellen, de berekening laten zien en jou laten beslissen.
Je hoeft ons niet op ons woord te geloven als we zeggen dat een model goed is. Je kunt naar de balk kijken, de betrouwbaarheidsstippen zien, over de p95 bewegen en zelf je conclusie trekken. Denk je dat de data niet klopt? De vergelijking van twee antwoorden loopt nog steeds in je chats - en je volgende voorkeursstem verschuift het getal.
Ter herinnering: allemaal officiële API's
Dit is ook een goed moment om iets te herhalen wat we eerder hebben gezegd: elk model in de kiezer wordt geleverd via de officiële API van de aanbieder. Geen gefinetunede namaakversies. Geen gekwantiseerde vervangers. Geen mysterieuze "GPT-4-equivalente" modellen van derden.
Als de kiezer "Claude Opus 4.6" zegt, praat je met Claude Opus 4.6. Als er "DeepSeek V3.2" staat, praat je met DeepSeek V3.2. De kwaliteitsscores zijn juist zinvol omdat de modellen echt zijn.
Wat komt er nog
De kiezer is het zichtbare deel. We willen nog meer met deze data doen:
- Aanbevelingen per personage. Verschillende modellen blinken uit in verschillende archetypen van personages. Met onze voorkeursdata zouden we moeten kunnen voorstellen: "gebruikers geven bij dit soort personage vaak de voorkeur aan model X."
- Persoonlijke ranglijsten. Op dit moment ziet iedereen dezelfde algemene ranglijst. Uiteindelijk zou je jouw favoriete modellen bovenaan moeten zien, op basis van je eigen eerdere keuzes.
- Live meldingen over de gezondheid van modellen. Als de API van een aanbieder een slechte dag heeft en de TTFT omhoogschiet, zou de kiezer dat binnen het uur moeten laten zien, niet pas de volgende dag.
Maar dat alles vraagt om een fundament van eerlijke data. Dat fundament leveren we vandaag.
Open de modelkiezer in je volgende chat en neem een kijkje. Als je hebt gestemd in vergelijkingen van twee antwoorden, staan jouw vingerafdrukken op elk getal dat je ziet.