Ответ был в два предложения. Почему он стоил почти десять тысяч токенов?
Короткий ответ уже давно есть в . Ответ оплачивается за весь обмен, а не за текст, который вы видите. На каждом ходе модель читает персонажа, недавнюю часть разговора, подходящие записи из книг мира, ваше сообщение и ещё кое-что, и только потом пишет. В ролевом чате то, что она читает, почти всегда намного больше того, что она пишет.
Это правда, но такой ответ просит поверить нам на слово. С сегодняшнего дня этого делать не нужно.
Наведите курсор на число
Откройте Кредиты через значок истории рядом с балансом и перейдите на вкладку Использование. Там, как и раньше, перечислены все запросы: персонаж, модель, токены, кредиты. Разница в том, что число токенов теперь можно раскрыть. Наведите на него курсор (на телефоне — коснитесь), и откроются Детали токенов.
Там всегда есть два числа: Ввод — сколько модель прочитала, и Вывод — сколько она написала. Для ответа в чате показывается ещё и блок Из чего состоял ввод.
Вот как это выглядит для длинного ролевого хода. Числа условные, но пропорции типичные:
Часть
Токены
Доля
История чата
3 800
40%
Персонаж и личность
2 220
24%
Книги мира
640
6,8%
Сводки чата
450
4,8%
Похожие статьи
Плагины
380
4%
Инструкции платформы
350
3,7%
Долговременная память
310
3,3%
Инструменты и оформление
1 270
13%
На этом ходе модель прочитала 9 420 токенов и написала 412. Сам ответ оказался самой маленькой частью запроса.
Как читать разбивку
Когда всё это видно, несколько вещей становятся очевидными:
История чата растёт вместе с разговором. Недавние сообщения отправляются дословно, поэтому длинная насыщенная сцена обходится за ход дороже, чем только что начатый чат. Более старые сообщения сворачиваются в сводки, а не отправляются целиком, поэтому Сводки чата занимают меньше, чем история, которую они заменяют. Подробности — в статье о том, .
Персонаж — расход на каждом ходе. Подробное описание, сценарий и стиль ответов — именно то, благодаря чему персонаж ощущается живым. Но всё это целиком читается при каждом ответе, а вместе с ним и ваша личность.
Книги мира и долговременная память учитываются только в той части, что пригодилась. Книга мира на сотни записей не стоит сотни записей: в строке Книги мира считаются только записи, которые попали в этот ответ.
Плагины накапливаются. Большинство плагинов на каждом ходе ставят перед моделью свои инструкции. Один обычно погоды не делает. Пять в одном чате здесь будут заметны.
Вывод обычно — небольшая доля. Кредиты списываются за ввод и вывод вместе, по одной ставке, так что дорогим ход делает не длинный ответ, а длинный контекст.
Ничто из этого не повод урезать персонажей до голого каркаса. Это способ знать, за что вы платите: если чат вдруг покажется дорогим, вы увидите причину, а не будете гадать.
Откуда берутся числа
Мы лучше прямо скажем, что это такое, чем позволим этому выглядеть точнее, чем оно есть.
Провайдеры моделей сообщают одно общее число входных токенов на запрос. Они не говорят, сколько из них пришлось на персонажа, а сколько на историю. Поэтому, когда Reverie собирает ваш запрос, каждая часть измеряется по её собственному тексту. Когда приходит ответ, эти оценки пересчитываются пропорционально вводу, о котором сообщил провайдер. Поэтому у частей стоит метка Оценка, и поэтому в сумме они всегда в точности равны вводу, за который с вас списали кредиты.
Инструменты и оформление — это всё, что не относится ни к одной другой части: описания инструментов, которыми может пользоваться персонаж, служебная обвязка вокруг каждого сообщения и небольшое расхождение между нашей оценкой и подсчётом провайдера. Мы показываем это отдельной строкой, а не размазываем по остальным.
Несколько ограничений, о которых стоит знать:
Разбивка доступна для ответов в чате на сайте, в ботах для и после привязки аккаунта, а также через .
Она хранится 30 дней. Для более старых ответов и ответов, полученных до появления этой функции, показываются только ввод и вывод.
Для остального использования — подсказок, ходов в историях и глав романов — пока тоже показываются только ввод и вывод.
Чего она не показывает
Разбивка — это размеры, а не текст. Она скажет, что описание персонажа заняло 2 220 токенов вашего ответа, но никогда не покажет само описание. Это важно: многих персонажей, с которыми вы общаетесь, написал кто-то другой, и их карточка — это их работа. Вы получаете полный отчёт о том, за что заплатили, а авторы оставляют своё мастерство при себе.
Почему мы продолжаем это делать
Это небольшая функция. Но и очередное проявление привычки, которую мы намерены сохранить.
списывает за токены с множителем для каждой модели, и эти множители мы публикуем. Статья разобрала, что работает за одним сообщением, а объяснил, как мы не даём одной и той же модели незаметно становиться хуже.
Многие AI-чаты показывают вам только тающий баланс, и почти ничего больше. Мы считаем, что вы должны иметь возможность взглянуть на любой потраченный кредит и увидеть, куда он ушёл. Тогда в следующий раз, когда ответ в две строки обойдётся в десять тысяч токенов, вам не придётся спрашивать нас почему. Ответ — в одном наведении курсора.
Полная справка с описанием каждой части — в .
Готовы испытать динамичные AI-диалоги?
Присоединяйтесь к тысячам пользователей, которые уже исследуют бесконечные личности и увлекательные взаимодействия на Reverie.