Dokąd idą twoje tokeny: każda odpowiedź rozłożona na części
Reverie Team
•
Na tej stronie
To pytanie zwykle przychodzi razem ze zrzutem ekranu:
Odpowiedź miała dwa zdania. Dlaczego kosztowała prawie dziesięć tysięcy tokenów?
Krótka odpowiedź od dawna jest w . Odpowiedź jest rozliczana za całą wymianę, a nie za tekst, który widzisz. W każdej turze model czyta postać, ostatnią część rozmowy, pasujące wpisy z ksiąg świata, twoją wiadomość i kilka innych rzeczy, a dopiero potem pisze. W czacie fabularnym to, co czyta, jest prawie zawsze dużo większe od tego, co pisze.
To prawda, ale taka odpowiedź wymaga, żeby uwierzyć nam na słowo. Od dziś nie musisz.
Najedź na liczbę
Otwórz Kredyty ikoną historii obok salda i przejdź do zakładki Użycie. Jak dotąd znajdziesz tam każde żądanie: postać, model, tokeny, kredyty. Różnica polega na tym, że liczbę tokenów można teraz rozwinąć. Najedź na nią kursorem (na telefonie dotknij), a pojawią się Szczegóły tokenów.
Zawsze widać tam dwie liczby: Wejście, czyli ile model przeczytał, i Wyjście, czyli ile napisał. Przy odpowiedzi w czacie pojawia się też sekcja Z czego składało się wejście.
Tak to wygląda dla dłuższej tury fabularnej. Liczby są poglądowe, ale proporcje typowe:
Część
Tokeny
Udział
Historia czatu
3 800
40%
Postać i persona
2 220
24%
Księgi świata
640
6,8%
Podsumowania czatu
450
4,8%
Powiązane wpisy
Wtyczki
380
4%
Instrukcje platformy
350
3,7%
Pamięć długotrwała
310
3,3%
Narzędzia i formatowanie
1 270
13%
W tej turze model przeczytał 9 420 tokenów i napisał 412. Sama odpowiedź była najmniejszą częścią żądania.
Jak czytać rozbicie
Kilka rzeczy staje się oczywistych, gdy już je widać:
Historia czatu rośnie razem z rozmową. Ostatnie wiadomości są wysyłane słowo w słowo, więc długa, gęsta scena kosztuje za turę więcej niż świeżo zaczęty czat. Starsze wiadomości są zwijane w podsumowania zamiast wysyłania w całości, dlatego Podsumowania czatu zajmują mniej niż historia, którą zastępują. Szczegóły znajdziesz we wpisie o tym, .
Postać to koszt w każdej turze. Bogata definicja, scenariusz i styl odpowiedzi sprawiają, że postać przypomina kogoś prawdziwego. Ale całość jest czytana przy każdej odpowiedzi, a razem z nią twoja persona.
Księgi świata i pamięć długotrwała liczą się tylko w tej części, która została użyta. Księga świata z setkami wpisów nie kosztuje setek wpisów: w wierszu Księgi świata liczą się tylko wpisy, które trafiły do tej odpowiedzi.
Wtyczki się sumują. Większość wtyczek w każdej turze stawia przed modelem własne instrukcje. Jedna rzadko robi różnicę. Pięć w tym samym czacie będzie tu widać.
Wyjście to zwykle mały kawałek. Kredyty naliczane są za wejście i wyjście łącznie, według tej samej stawki, więc to nie długa odpowiedź podraża turę. Robi to długi kontekst.
Nic z tego nie jest powodem, żeby ogołacać swoje postacie. To sposób, żeby wiedzieć, za co płacisz: gdy czat nagle wyda się drogi, zobaczysz dlaczego, zamiast zgadywać.
Skąd się biorą liczby
Wolimy powiedzieć wprost, czym to jest, niż pozwolić, żeby wyglądało na dokładniejsze, niż jest.
Dostawcy modeli podają jedną łączną liczbę tokenów wejściowych na żądanie. Nie mówią, ile z nich pochodziło od postaci, a ile z historii. Dlatego gdy Reverie składa twoje żądanie, mierzy każdą część na podstawie jej własnego tekstu. Gdy wraca odpowiedź, te szacunki są przeskalowywane do wejścia zgłoszonego przez dostawcę. Dlatego części mają oznaczenie Szacunek i dlatego zawsze sumują się dokładnie do wejścia, za które pobrano kredyty.
Narzędzia i formatowanie to wszystko, czego nie obejmuje żadna inna część: opisy narzędzi, z których może korzystać postać, obudowa wokół każdej wiadomości i niewielka różnica między naszym szacunkiem a liczeniem dostawcy. Pokazujemy to w osobnym wierszu, zamiast rozkładać na pozostałe.
Kilka ograniczeń, o których warto wiedzieć:
Rozbicie obejmuje odpowiedzi w czacie na stronie, w botach na i po połączeniu konta oraz przez .
Jest przechowywane przez 30 dni. Starsze odpowiedzi i odpowiedzi sprzed tej funkcji pokazują tylko wejście i wyjście.
Inne użycie, na przykład sugestie, tury w opowieściach i rozdziały powieści, na razie też pokazuje tylko wejście i wyjście.
Czego nie pokazuje
Rozbicie to rozmiary, a nie tekst. Powie ci, że definicja postaci zajęła 2 220 tokenów twojej odpowiedzi, ale nigdy nie pokaże samej definicji. To ważne, bo wiele postaci, z którymi rozmawiasz, napisał ktoś inny, a ich karta to ich praca. Ty dostajesz pełne rozliczenie tego, za co zapłaciłeś, a twórcy zachowują swój warsztat dla siebie.
Dlaczego wciąż to robimy
To mała funkcja. Ale też kolejny przejaw nawyku, którego zamierzamy się trzymać.
rozlicza za tokeny według mnożnika dla każdego modelu, który publikujemy. rozpisało, co działa za pojedynczą wiadomością, a wyjaśnił, jak pilnujemy, żeby ten sam model po cichu się nie pogarszał.
Wiele czatów AI pokazuje ci malejące saldo i niewiele więcej. Uważamy, że powinieneś móc spojrzeć na każdy wydany kredyt i zobaczyć, dokąd poszedł. Wtedy następnym razem, gdy dwulinijkowa odpowiedź będzie kosztować dziesięć tysięcy tokenów, nie będziesz musiał pytać nas dlaczego. Odpowiedź jest jedno najechanie kursorem dalej.
Pełny opis, z wyjaśnieniem każdej części, znajdziesz w .
Gotowy na doświadczenie dynamicznych rozmów z AI?
Dołącz do tysięcy użytkowników, którzy już odkrywają nieskończone osobowości i wciągające interakcje na Reverie.