Dove vanno i tuoi token: ogni risposta, voce per voce
Reverie Team
•
In questa pagina
La domanda di solito arriva con uno screenshot:
La risposta era di due frasi. Perché è costata quasi diecimila token?
La risposta breve è da tempo nella . Una risposta viene addebitata sull'intero scambio, non sul testo che vedi. A ogni turno il modello legge il personaggio, la conversazione recente, il lore dei World Book pertinenti, il tuo messaggio e qualche altra cosa, e solo dopo scrive. In una chat di roleplay, quello che legge è quasi sempre molto più grande di quello che scrive.
Quella risposta è vera, ma ti chiede di crederci sulla parola. Da oggi non serve più.
Passa il cursore sul numero
Apri Crediti dall'icona della cronologia accanto al tuo saldo e vai su Utilizzo. Lì trovi ogni richiesta, come sempre: personaggio, modello, token, crediti. La differenza è che ora il numero di token si può aprire. Passaci sopra con il cursore, o toccalo sul telefono, e compare il Dettaglio token.
Mostra sempre due numeri: Input, quello che il modello ha letto, e Output, quello che ha scritto. Per una risposta in chat mostra anche Di cosa era composto l'input.
Ecco come appare per un turno di roleplay piuttosto lungo. I numeri sono indicativi, ma la proporzione è tipica:
Parte
Token
Quota
Cronologia chat
3.800
40%
Personaggio e identità
2.220
24%
World Book
640
6,8%
Riepiloghi della chat
450
Articoli correlati
4,8%
Plugin
380
4%
Istruzioni della piattaforma
350
3,7%
Memoria a lungo termine
310
3,3%
Strumenti e formattazione
1.270
13%
Quel turno ha letto 9.420 token e ne ha scritti 412. La risposta era la parte più piccola della richiesta.
Come leggere il dettaglio
Alcune cose diventano evidenti appena puoi vederle:
La cronologia della chat cresce con la conversazione. I messaggi recenti vengono inviati parola per parola, quindi una scena lunga e movimentata costa di più a ogni turno rispetto a una appena iniziata. I messaggi più vecchi vengono condensati in riepiloghi invece di essere inviati per intero, ed è per questo che Riepiloghi della chat resta più piccolo della cronologia che sostituisce. entra nei dettagli.
Il personaggio è un costo a ogni turno. Una definizione, uno scenario e uno stile di risposta ricchi sono ciò che fa sembrare un personaggio qualcuno. Però vengono anche letti per intero a ogni risposta, e la tua persona viaggia con loro.
World Book e memoria a lungo termine contano solo ciò che è stato usato. Un World Book con centinaia di voci non costa centinaia di voci: World Book conta solo le voci arrivate a questa risposta.
I plugin si sommano. La maggior parte dei plugin mette le proprie istruzioni davanti al modello a ogni turno. Uno raramente fa differenza. Cinque nella stessa chat si vedranno qui.
L'output di solito è una fetta piccola. I crediti vengono addebitati su input e output insieme, alla stessa tariffa, quindi non è una risposta lunga a rendere costoso un turno. È un contesto lungo.
Niente di tutto questo è un motivo per ridurre all'osso i tuoi personaggi. È un modo per sapere cosa stai pagando, così quando una chat all'improvviso sembra costosa puoi vedere perché invece di tirare a indovinare.
Come nascono i numeri
Preferiamo dirti esattamente cos'è, piuttosto che farlo sembrare più preciso di quanto sia.
I provider dei modelli comunicano un solo totale di input per richiesta. Non dicono quanti di quei token arrivano dal personaggio e quanti dalla cronologia. Così, quando la tua risposta viene assemblata, Reverie misura ogni parte a partire dal suo testo. Quando la risposta torna, quelle stime vengono riproporzionate sull'input comunicato dal provider. Ecco perché le parti portano l'etichetta Stima, e perché la loro somma corrisponde sempre esattamente all'input che ti è stato addebitato.
Strumenti e formattazione è ciò che nessun'altra parte copre: le descrizioni degli strumenti che un personaggio può usare, la cornice intorno a ogni messaggio e il piccolo scarto tra la nostra stima e il conteggio del provider. Lo mostriamo su una riga a sé invece di spalmarlo sulle altre.
Alcuni limiti da conoscere:
Il dettaglio copre le risposte in chat sul sito, nei bot di e una volta collegato l'account, e tramite la .
Viene conservato per 30 giorni. Le risposte più vecchie, e quelle precedenti a questa funzione, mostrano solo input e output.
Gli altri utilizzi, come suggerimenti, turni delle storie e capitoli dei romanzi, per ora mostrano solo input e output.
Cosa non mostra
Il dettaglio riporta dimensioni, non testo. Ti dice che la definizione di un personaggio ha occupato 2.220 token della tua risposta; non ti mostra mai la definizione. È importante, perché molti dei personaggi con cui chatti sono stati scritti da altri, e la loro scheda è opera di chi li ha creati. Tu hai un resoconto completo di ciò che hai pagato, e i creatori tengono per sé il proprio mestiere.
Perché continuiamo a farlo
È una funzione piccola. È anche l'ultima tappa di un'abitudine che intendiamo mantenere.
addebita in base ai token, con un moltiplicatore per modello che pubblichiamo. ha mostrato cosa gira dietro un singolo messaggio, e ha spiegato come evitiamo che lo stesso modello peggiori senza che nessuno se ne accorga.
Molti prodotti di chat con IA ti mostrano un saldo che scende e poco altro. Pensiamo che dovresti poter guardare qualsiasi credito speso e vedere dove è andato, così la prossima volta che una risposta di due righe costa diecimila token non dovrai chiederci perché. La risposta è a portata di cursore.
Il riferimento completo, con il significato di ogni parte, è nella .
Pronto a sperimentare conversazioni dinamiche con l'IA?
Unisciti a migliaia di utenti che già esplorano personalità infinite e interazioni coinvolgenti su Reverie.