Куди йдуть твої токени: кожна відповідь по поличках
Reverie Team
•
На цій сторінці
Це питання зазвичай надходить разом зі скриншотом:
Відповідь була на два речення. Чому вона коштувала майже десять тисяч токенів?
Коротка відповідь уже давно є в . Відповідь оплачується за весь обмін, а не за текст, який ти бачиш. На кожному ході модель читає персонажа, нещодавню частину розмови, доречні записи з книг світу, твоє повідомлення та ще дещо, і лише тоді пише. У рольовому чаті те, що вона читає, майже завжди значно більше за те, що вона пише.
Це правда, але така відповідь просить повірити нам на слово. Відсьогодні цього робити не треба.
Наведи курсор на число
Відкрий Кредити через значок історії біля балансу й перейди на вкладку Використання. Там, як і раніше, перелічено всі запити: персонаж, модель, токени, кредити. Різниця в тому, що кількість токенів тепер можна розгорнути. Наведи на неї курсор (на телефоні — торкнися), і відкриються Деталі токенів.
Там завжди є два числа: Ввід — скільки модель прочитала, і Вивід — скільки вона написала. Для відповіді в чаті показано ще й блок З чого складався ввід.
Ось як це виглядає для довгого рольового ходу. Числа умовні, але пропорції типові:
Частина
Токени
Частка
Історія чату
3 800
40%
Персонаж і персона
2 220
24%
Книги світу
640
6,8%
Підсумки чату
450
4,8%
Плагіни
Схожі публікації
380
4%
Інструкції платформи
350
3,7%
Довготривала пам'ять
310
3,3%
Інструменти й форматування
1 270
13%
На цьому ході модель прочитала 9 420 токенів і написала 412. Сама відповідь виявилася найменшою частиною запиту.
Як читати розбивку
Коли все це видно, кілька речей стають очевидними:
Історія чату росте разом із розмовою. Нещодавні повідомлення надсилаються дослівно, тож довга насичена сцена коштує за хід дорожче, ніж щойно розпочатий чат. Старіші повідомлення згортаються в підсумки, а не надсилаються повністю, тому Підсумки чату займають менше, ніж історія, яку вони замінюють. Подробиці — у дописі про те, .
Персонаж — витрата на кожному ході. Детальний опис, сценарій і стиль відповідей — саме те, завдяки чому персонаж відчувається живим. Але все це повністю читається під час кожної відповіді, а разом із ним і твоя персона.
Книги світу й довготривала пам'ять враховуються лише в тій частині, яка знадобилася. Книга світу на сотні записів не коштує сотень записів: у рядку Книги світу рахуються лише записи, що потрапили в цю відповідь.
Плагіни накопичуються. Більшість плагінів на кожному ході додають перед моделлю власні інструкції. Один зазвичай нічого не вирішує. П'ять в одному чаті тут буде помітно.
Вивід зазвичай — невелика частка. Кредити списуються за ввід і вивід разом, за однією ставкою, тож дорогим хід робить не довга відповідь, а довгий контекст.
Ніщо з цього не привід урізати персонажів до голого каркаса. Це спосіб знати, за що ти платиш: якщо чат раптом здасться дорогим, ти побачиш причину, а не гадатимеш.
Звідки беруться числа
Ми краще прямо скажемо, що це таке, ніж дозволимо цьому виглядати точнішим, ніж воно є.
Провайдери моделей повідомляють одне загальне число вхідних токенів на запит. Вони не кажуть, скільки з них припало на персонажа, а скільки на історію. Тому, коли Reverie збирає твій запит, кожну частину вимірюють за її власним текстом. Коли надходить відповідь, ці оцінки перераховуються пропорційно до вводу, про який повідомив провайдер. Тому частини мають позначку Оцінка, і тому в сумі вони завжди точно дорівнюють вводу, за який з тебе списали кредити.
Інструменти й форматування — це все, що не належить до жодної іншої частини: описи інструментів, якими може користуватися персонаж, службове обрамлення кожного повідомлення й невелика розбіжність між нашою оцінкою та підрахунком провайдера. Ми показуємо це окремим рядком, а не розмазуємо по інших.
Кілька обмежень, про які варто знати:
Розбивка доступна для відповідей у чаті на сайті, у ботах для і після прив'язки акаунта, а також через .
Вона зберігається 30 днів. Для старіших відповідей і відповідей, отриманих до появи цієї функції, показано лише ввід і вивід.
Для іншого використання — підказок, ходів в історіях і розділів романів — поки що теж показано лише ввід і вивід.
Чого вона не показує
Розбивка — це розміри, а не текст. Вона скаже, що опис персонажа зайняв 2 220 токенів твоєї відповіді, але ніколи не покаже сам опис. Це важливо: багатьох персонажів, із якими ти спілкуєшся, написав хтось інший, і їхня картка — це їхня робота. Ти отримуєш повний звіт про те, за що заплатив, а автори залишають свою майстерність при собі.
Чому ми й далі це робимо
Це невелика функція. Але й черговий вияв звички, яку ми маємо намір зберегти.
списує за токени з множником для кожної моделі, і ці множники ми публікуємо. Допис розібрав, що працює за одним повідомленням, а пояснив, як ми не даємо тій самій моделі непомітно ставати гіршою.
Багато AI-чатів показують тобі лише баланс, що тане, і майже нічого більше. Ми вважаємо, що ти маєш змогу глянути на будь-який витрачений кредит і побачити, куди він пішов. Тож наступного разу, коли відповідь на два рядки обійдеться в десять тисяч токенів, тобі не доведеться питати нас чому. Відповідь — за одним наведенням курсора.
Повна довідка з описом кожної частини — у .
Готовий до живих розмов з AI?
Приєднуйся до тисяч користувачів, які вже відкривають безмежні особистості та захопливу взаємодію в Reverie.