이 질문은 보통 스크린샷과 함께 도착합니다.
답변은 두 문장이었는데, 왜 토큰이 거의 만 개나 들었나요?
짧은 답은 꽤 오래전부터 에 적혀 있었습니다. 답변은 눈에 보이는 텍스트가 아니라 주고받은 전체를 기준으로 과금됩니다. 매 턴마다 모델은 캐릭터, 최근 대화, 해당되는 월드북 설정, 여러분의 메시지, 그 밖의 몇 가지를 먼저 읽고 나서야 답변을 씁니다. 롤플레이 채팅에서는 모델이 읽는 양이 쓰는 양보다 거의 항상 훨씬 많습니다.
이 답은 사실이지만, 우리 말을 그대로 믿어 달라는 이야기이기도 했습니다. 오늘부터는 그럴 필요가 없습니다.
숫자에 마우스를 올려 보세요
잔액 옆의 기록 아이콘을 눌러 크레딧을 열고 사용량 탭으로 이동하세요. 모든 요청이 예전처럼 캐릭터, 모델, 토큰, 크레딧과 함께 나열되어 있습니다. 달라진 점은 이제 토큰 수를 열어 볼 수 있다는 것입니다. 마우스를 올리거나 휴대폰에서 탭하면 토큰 상세가 나타납니다.
여기에는 항상 두 숫자가 표시됩니다. 모델이 읽은 양인 입력, 그리고 모델이 쓴 양인 출력입니다. 채팅 답변이라면 입력 구성도 함께 보여 줍니다.
긴 롤플레이 턴이라면 대략 이런 모습입니다. 숫자는 예시지만, 비율은 전형적입니다.
| 항목 | 토큰 | 비중 |
|---|---|---|
| 채팅 기록 | 3,800 | 40% |
| 캐릭터 및 페르소나 | 2,220 | 24% |
| 월드북 | 640 | 6.8% |
| 채팅 요약 | 450 | 4.8% |
| 플러그인 | 380 | 4% |
| 플랫폼 지침 | 350 | 3.7% |
| 장기 기억 | 310 | 3.3% |
| 도구 및 서식 | 1,270 | 13% |
이 턴은 9,420 토큰을 읽고 412 토큰을 썼습니다. 답변은 요청 전체에서 가장 작은 부분이었습니다.
구성 내역 읽는 법
눈으로 볼 수 있게 되면 몇 가지가 분명해집니다.
- 채팅 기록은 대화와 함께 늘어납니다. 최근 메시지는 글자 그대로 전송되기 때문에, 길고 북적이는 장면은 막 시작한 대화보다 턴당 비용이 더 듭니다. 오래된 메시지는 전문 대신 요약으로 접혀 들어가는데, 채팅 요약이 그것이 대신하는 기록보다 작게 유지되는 이유가 여기에 있습니다. 자세한 내용은 에서 다룹니다.
- 캐릭터는 매 턴 드는 비용입니다. 풍부한 설정, 시나리오, 답변 스타일은 캐릭터를 살아 있는 누군가처럼 느끼게 해 주는 요소입니다. 동시에 답변할 때마다 전부 읽히고, 여러분의 페르소나도 함께 따라갑니다.
- 월드북과 장기 기억은 실제로 쓰인 것만 계산됩니다. 항목이 수백 개인 월드북이라고 해서 수백 개 항목만큼의 비용이 드는 것은 아닙니다. 월드북에는 이번 답변에 실제로 들어간 항목만 집계됩니다.
- 플러그인은 쌓입니다. 대부분의 플러그인은 매 턴 자체 지침을 모델 앞에 붙입니다. 하나라면 거의 문제가 되지 않습니다. 같은 채팅에 다섯 개라면 여기서 눈에 띕니다.
- 출력은 보통 작은 일부입니다. 크레딧은 입력과 출력을 합쳐 같은 비율로 차감되므로, 턴을 비싸게 만드는 것은 긴 답변이 아닙니다. 긴 컨텍스트입니다.
그렇다고 캐릭터를 앙상하게 깎아 낼 이유는 없습니다. 무엇에 비용을 내고 있는지 알기 위한 방법일 뿐입니다. 어떤 채팅이 갑자기 비싸게 느껴질 때, 짐작하는 대신 이유를 직접 확인할 수 있습니다.
숫자는 이렇게 만들어집니다
실제보다 더 정확해 보이게 두기보다는, 이것이 정확히 무엇인지 말씀드리고 싶습니다.
모델 제공자는 요청마다 입력 합계 하나만 보고합니다. 그중 몇 토큰이 캐릭터에서, 몇 토큰이 기록에서 왔는지는 알려 주지 않습니다. 그래서 Reverie는 답변을 조합할 때 각 항목을 그 항목의 텍스트로 측정합니다. 답변이 돌아오면 그 추정치를 제공자가 보고한 입력에 맞춰 비례 환산합니다. 각 항목에 추정 표시가 붙어 있는 것도, 합계가 청구된 입력과 항상 정확히 일치하는 것도 이 때문입니다.
도구 및 서식은 다른 어떤 항목에도 포함되지 않는 부분입니다. 캐릭터가 사용할 수 있는 도구의 설명, 각 메시지를 감싸는 틀, 그리고 우리 추정치와 제공자 집계 사이의 작은 차이가 여기에 들어갑니다. 다른 항목에 나눠 넣지 않고 별도의 한 줄로 보여 드립니다.
알아 두시면 좋은 제한 사항도 있습니다.
- 구성 내역은 웹사이트, 계정을 연동한 및 봇, 그리고 를 통한 채팅 답변에 제공됩니다.
- 30일 동안 보관됩니다. 그보다 오래된 답변과 이 기능이 생기기 전의 답변은 입력과 출력만 표시됩니다.
- 답변 추천, 스토리 턴, 소설 챕터 등 그 밖의 사용량은 현재 입력과 출력만 표시됩니다.
보여 주지 않는 것
구성 내역이 보여 주는 것은 텍스트가 아니라 크기입니다. 캐릭터 설정이 답변에서 2,220 토큰을 차지했다는 것은 알려 주지만, 설정 자체를 보여 주지는 않습니다. 이 점이 중요한 이유는, 여러분이 대화하는 캐릭터 중 상당수가 다른 사람이 만든 것이고 그 캐릭터 카드는 그 사람의 작품이기 때문입니다. 여러분은 지불한 내역을 빠짐없이 확인하고, 크리에이터는 자신의 노하우를 지킬 수 있습니다.
우리가 이런 일을 계속하는 이유
작은 기능입니다. 그리고 우리가 앞으로도 지켜 나가려는 습관의 가장 최근 사례이기도 합니다.
은 토큰 단위로 과금하며, 모델별 배율을 공개합니다. 에서는 메시지 한 통 뒤에서 돌아가는 것들을 펼쳐 보였고, 에서는 같은 모델이 소리 없이 나빠지지 않도록 우리가 어떻게 막는지 설명했습니다.
많은 AI 채팅 서비스는 줄어드는 잔액 말고는 거의 아무것도 보여 주지 않습니다. 우리는 여러분이 쓴 크레딧 하나하나가 어디로 갔는지 확인할 수 있어야 한다고 생각합니다. 그러니 다음에 두 줄짜리 답변이 토큰을 만 개나 썼다면, 우리에게 이유를 물어볼 필요가 없습니다. 마우스를 한 번 올리면 답이 나옵니다.
각 항목의 의미를 포함한 전체 설명은 에 있습니다.

