Обіцянка, яку ми дали в листопаді
Ще в нашому дописі про порівняння двох відповідей ми попросили тебе про дрібницю: коли бачиш дві відповіді AI поруч, вибери ту, яка тобі більше до вподоби.
Ми пообіцяли, що ці вибори матимуть значення. Ми сказали, що твої вподобання допоможуть нам рекомендувати кращі моделі, оптимізувати маршрутизацію й «створювати функції, що відповідають реальним вподобанням користувачів».
Сьогодні ми випускаємо першу функцію, яка безпосередньо побудована на цих даних, — і хочемо детально показати, як вона працює, бо прозорість — це і є вся суть.
Новий вибір моделі
Відкрий випадний список моделей у будь-якому чаті. Ти помітиш, що це вже не плаский перелік назв. Тепер кожна модель має два видимі показники:
- Якість: як часто ти та інші користувачі надавали перевагу цій моделі в реальних A/B-порівняннях
- Швидкість: наскільки швидко вона насправді відповідає, за даними останніх кількох сотень повідомлень
От і все. Жодних маркетингових значків. Жодного «Вибору редакції». Жодних вигаданих нами наліпок «Преміум», щоб продати тобі дорожче. Лише два числа, обидва отримані з реальних даних використання.
Як працює «Якість» (і чим вона відрізняється)
Більшість AI-платформ ранжують моделі одним із трьох способів:
- PR постачальника: «Anthropic випустила нову модель, тож ми її просуваємо».
- Внутрішні відчуття: «Наша команда потестувала її годину, і вона нам сподобалася».
- Що найбільше платить: «Наш партнер цього місяця пропонує нам відкат».
Жоден із цих способів не скаже тобі, чи справді модель хороша для рольової гри — а саме заради неї ти тут.
Ось що робимо ми натомість:
Крок 1: справжні A/B-дуелі
Щоразу, коли ти бачив порівняння двох відповідей і вибирав одну з них, ми це записували. Той самий промпт, той самий персонаж, той самий контекст — змінювалася лише модель. Твій вибір був єдиним сигналом.
За кілька місяців у нас накопичилися десятки тисяч прямих протистоянь між усіма активними моделями на платформі.
Крок 2: оцінка Вілсона, а не наївний відсоток перемог
Ось тонка, але важлива деталь. Якщо модель має 4 перемоги й 1 поразку, її наївний відсоток перемог — 80%. Звучить чудово. Але 5 спостережень — це статистичний шум. Модель із 800 перемогами й 200 поразками теж має 80% перемог, і другій, очевидно, варто довіряти більше.
Ми використовуємо нижню межу оцінки Вілсона — той самий алгоритм, яким Reddit ранжує коментарі. Він штрафує малі вибірки, тож щоб піднятися в рейтингу, моделі потрібні і висока перевага, і достатньо даних.
Саме тому біля кожної моделі ти бачиш рядок маленьких точок упевненості: ●●●●○ означає «у нас багато даних про цю модель». ●●○○○ означає «стався до числа обережно». Ми не приховуємо невизначеність — ми її тобі показуємо.
Крок 3: ми ніколи не показуємо сирі числа
Тут ми проводимо межу приватності. Вибір моделі показує відсоток перемог і рівень упевненості, але ніколи — абсолютні кількості. Модель могли вибрати 1 200 разів або 12 000 разів — в обох випадках ти побачиш «●●●●●», бо точні кількості розкрили б, скільки в нас користувачів і що вони роблять.
Це свідомий компроміс. Ми хочемо, щоб ти довіряв оцінці, але не хочемо перетворюватися на аналітичну панель, яку будь-хто може зіскрейпити.
Як працює «Швидкість»
Якість — це одне число. Швидкість потрібно вимірювати на реальних запитах, а не за бенчмарками, які заявляє постачальник.
Кожне повідомлення, яке ми надсилаємо, містить блок метаданих із фактичним часом до першого токена та кількістю токенів за секунду для цієї відповіді. Ми агрегуємо приблизно 50 останніх таких значень для кожної моделі й показуємо медіану (p50) — а не середнє.
Чому медіану? Бо середні значення брешуть, коли є викиди. Якщо модель зазвичай швидка, але минулого тижня мала три повільні ночі, середнє скаже тобі, що модель повільна. Медіана ж показує, що ти відчуватимеш зазвичай, — а саме це тебе й цікавить.
Якщо навести курсор на індикатор швидкості, ти побачиш ще й p95 — затримку в найгіршому випадку. Деякі моделі мають дуже щільний розподіл затримки, інші — довгі хвости. Тепер ти бачиш і те, і інше.
Як візуалізується оцінка «Швидкості»
Відповідь за 1 секунду відчувається набагато швидшою, ніж за 5 секунд. А відповідь за 5 секунд відчувається майже так само, як за 6. Сприйняття затримки логарифмічне, тому шкала швидкості відображається в логарифмічному масштабі в межах [500 мс, 20 с].
Це означає, що модель міркування, якій потрібно 18 секунд до першого токена (так, таке справді буває), матиме помітно порожню шкалу швидкості — а не трохи коротшу, ніж у 8-секундної моделі. Бо на рівні відчуттів ці два досвіди зовсім різні.
Чого ми не робимо
Ми хочемо чітко назвати те, чого свідомо уникаємо:
- Жодної «чорної скриньки» на кшталт «рекомендовано для тебе». Сортування за замовчуванням — це просто дані: за оцінкою Вілсона, за спаданням. Pro-моделі опиняються вгорі лише тому, що Pro-користувачі за них заплатили, а не тому, що ми вручну їх підняли. Усередині Pro і всередині безкоштовних моделей порядок цілком заслужений.
- Жодних фальшивих значків «нове й покращене». Модель отримує позначку НОВЕ, лише якщо її додали на платформу протягом останніх 14 днів. Після цього значок зникає автоматично — жодна людина не може його закріпити.
- Жодного ранжування з подачі партнерів. Ми не беремо гроші від жодного постачальника AI за місце в списку. Якби OpenAI чи Anthropic завтра випустили модель, яка показала найгірший результат у наших дуелях, вона опинилася б унизу списку. (І, чесно кажучи, ми б однаково її додали й дали даним говорити самим за себе.)
- Жодних привілеїв для найдорожчої моделі. Наша найдорожча Pro-модель — не завжди найякісніша модель на платформі в цей момент. Ми тобі це показуємо. Ми цього не приховуємо.
Група «Оцінюються»
Коли модель зовсім нова, у неї ще недостатньо A/B-даних для змістовної оцінки Вілсона. Поставити поруч із нею 50% перемог було б оманливо.
Тому нові моделі потрапляють у групу Оцінюються вгорі вибору моделі. Вони показують свою швидкість (її ми можемо виміряти одразу), а там, де мало б бути число якості, написано «Збираємо дані». Щойно вони накопичать достатньо дуелей, вони автоматично переходять до основного рейтингового списку.
Ти завжди знатимеш, чи оцінка, на яку ти дивишся, статистично значуща, чи це лише заглушка.
Чому це важливо
Сфера AI-компаньйонів повна платформ, які гучно говорять про «найкращі моделі», не показуючи жодного числа. Деякі з них видають дешевші моделі за преміальні й беруть за них преміальну ціну. Деякі спрямовують тебе до тієї моделі, на яку цього місяця знижка. А деякі просто вгадують.
Ми обираємо інший підхід за замовчуванням: казати тобі правду, показувати математику, давати тобі вирішувати.
Тобі не потрібно вірити нам на слово, коли ми кажемо, що модель хороша. Ти можеш подивитися на шкалу, побачити точки впевненості, навести курсор, щоб побачити p95, і скласти власну думку. Якщо вважаєш, що дані неправильні, порівняння двох відповідей і далі працює у твоїх чатах — і твій наступний голос за вподобанням зрушить це число.
Нагадування: лише офіційні API
Це також гарний момент, щоб повторити те, що ми вже казали: кожна модель у виборі моделі працює через офіційний API постачальника. Жодних донавчених підробок. Жодних квантизованих замінників. Жодних загадкових моделей «рівня GPT-4» від третіх сторін.
Якщо у виборі моделі написано «Claude Opus 4.6», ти говориш із Claude Opus 4.6. Якщо написано «DeepSeek V3.2», ти говориш із DeepSeek V3.2. Оцінки якості мають сенс саме тому, що моделі справжні.
Що далі
Вибір моделі — це видима частина. Ми хочемо зробити з цими даними більше:
- Рекомендації для кожного персонажа. Різні моделі добре справляються з різними архетипами персонажів. Наші дані про вподобання мають дозволити нам підказувати: «для такого персонажа користувачі зазвичай обирають модель X».
- Персоналізовані рейтинги. Зараз усі бачать однаковий глобальний рейтинг. Згодом твої улюблені моделі мають підніматися вгору на основі твоїх власних минулих виборів.
- Сповіщення про стан моделей у реальному часі. Якщо в API постачальника поганий день і TTFT різко зростає, вибір моделі має відобразити це протягом години, а не наступного дня.
Але все це потребує фундаменту чесних даних. Саме цей фундамент ми сьогодні й випускаємо.
Відкрий вибір моделі у своєму наступному чаті й подивися. Якщо ти голосував у порівняннях двох відповідей, твої відбитки є на кожному числі, яке ти бачиш.