Şu ya da bu biçimde düzenli olarak aldığımız bir soru:
DeepSeek milyon token başına neredeyse hiçbir şey tutmuyor. Reverie neden bedava olamıyor?
Yerinde bir soru ve omuz silkmek yerine gerçek bir cevabı hak ediyor. Öncülü kısmen doğru bile: bazı modeller token başına gerçekten ucuz ve bu fiyat herkese açık — isteyen bakabilir.
O rakamın göstermediği şey, bir sohbetin sohbet gibi hissettirmesi için model çağrısının etrafında olması gereken her şey. Bu yazı tam olarak orayı, elimizden geldiğince somut biçimde anlatıyor.
Bu konuya daha önce de değinmiştik. Kredi sistemi üzerine yazımız çarpanları ve ödül programlarını, ücretsiz modeller üzerine olanı ise belirsizliğe rağmen neden yayına aldığımızı anlatıyordu. Ama ikisi de insanların yine de sormayı sürdürdüğü sorunun hemen öncesinde duruyordu: para gerçekte nereye gidiyor? İşte o cevap; hem de bugüne kadar verdiğimizden daha ayrıntılı.
Model faturası tek bir kalem, faturanın kendisi değil
Bir mesaj gönderdiğinizde görünen kısım model çağrısıdır. Yayımlanmış fiyat etiketi olan tek kısım da odur; maliyet tartışmasına hâkim olmasının sebebi bu.
Reverie'de tek bir alışverişe başka nelerin dahil olduğunun kabaca dökümü:
- Bağlamı toplama ve kurma — karakter tanımı, persona'nız, world book'lar, uzun vadeli hafıza kayıtları, yakın geçmişteki konuşma ve etkin eklentiler; hepsinin çekilmesi, önceliklendirilmesi ve bir token bütçesine sığdırılması gerekir.
- Özetleme ve hafıza sıkıştırma — aşağıda ayrıntısıyla; kendi başına bir model çağrısı.
- Moderasyon — ve bu, mesajlara uygulanan bir filtreden çok daha fazlası. Bir karakteri yayımlamak, görsellerini bir görü modelinden geçirir. Bir karakteri, eklentiyi ya da üreticiyi şikâyet etmek, bir insan bakmadan önce hem içeriği hem de şikâyeti okuyan bir yapay zekâ ön elemesini başlatır. Eklenti güncellemeleri de aynı yoldan geçer.
- Depolama — her mesaj, her görsel, her karakter kartı, her çatallanmanın her sürümü; süresiz saklanır ve sunulur.
- Altyapı — uygulama sunucuları, veritabanı ve kopyaları, önbellekler, kuyruklar, CDN, her yanıt boyunca açık tutulan akış bağlantıları.
- İzleme ve gözlemlenebilirlik — hata takibi, gecikme ve hata metrikleri, sağlayıcı sağlık kontrolleri ve bir modelin iki gün önce değil iki saat önce bozulmaya başladığını bize söyleyen kayıtlar.
- Mühendislik — özellikleri kuran insanlar ve bir sağlayıcı gece üçte çöktüğünde uyandırılan insanlar.
- Destek ve operasyon — talepleri yanıtlamak, iadeleri işlemek, şikâyetleri incelemek, moderasyon itirazları, ödeme komisyonları, vergiler, muhasebe.
Bu liste de eksiksiz değil — sadece adı kolayca konabilen kısmı.
Bunların hiçbiri bir model sağlayıcısının fiyat sayfasında görünmez. Hepsi gerçek ve tekrarlayan maliyetlerdir ve çoğu sabit kalmak yerine kullanımla birlikte büyür.
Ve en çok şaşırtan kısım şu: gördüğünüz model çağrısı, ödediğimiz maliyetlerin yalnızca bir parçası. Etrafında sunucular, depolama, kimseye faturalanmayan arka plan model çağrıları ve platformu ayakta tutan insanlar var. Bir modelin token fiyatı düştüğünde bu maliyetler ortadan kalkmaz.
Buraya derli toplu bir yüzde uydurmayacağız: dağılım kullanımla birlikte oynuyor ve sonradan geri almak zorunda kalacağımız bir rakam vermek istemiyoruz. Değişmeyen ayrım şu: sağlayıcının API fiyatı ile platformun işletme maliyeti aynı sayı değildir. Daha ucuz çıkarım faturanın bir bölümünü azaltır, etrafındaki her şeyi ortadan kaldırmaz.
Özetleme: ücretlendirmediğimiz özellik
Bunu ayrıca anmak gerekiyor, çünkü tasarımı gereği görünmez.
Bağlam pencereleri sonludur. Bir sohbet sonsuza kadar büyüseydi iki şeyden biri olurdu: en eski kısımlar sessizce pencerenin dışına düşer ve karakteriniz unutmaya başlardı; ya da her mesaj tüm geçmişi taşır, giderek yavaşlar ve pahalılaşır, sonunda büsbütün çalışmaz hale gelirdi.
Bu yüzden Reverie özetliyor. Bir konuşma uzadığında sistem eski bölümü anlatısal bir özete sıkıştırır — ilişkinin durumunu, duygusal dinamiği, kapanmamış hatları koruyarak — ve ham dökümün yerine bunu bağlama verir. Siz istemeden, arka planda, kendiliğinden olur.
Bu özetlemenin kendisi bir model çağrısıdır. Çok sayıda token okur ve yenilerini yazar. Ve uzun bir sohbetin ömrü boyunca tekrar tekrar gerçekleşir.
Bunun için sizden ücret almıyoruz. Kredi geçmişinizde "hafıza bakımı" diye bir kalem yok. Platformu işletme maliyetinin içine yediriliyor; çünkü kullanıcılardan, kendi sohbetlerini tutarlı tutan mekanizma için para almak bize yanlış bir takas gibi geldi.
Aynı mantık başka arka plan işleri için de geçerli: bağlam optimizasyonu, hafıza çıkarımı, neyin hatırlanmaya değer olduğuna karar veren geçiş.
Siz yokken gerçekleşen model çağrıları
Ödediğimiz şeylerin bir kısmı sizin herhangi bir isteğinize bağlı bile değil.
Proaktif mesajlar — bir karakterin önce size yazması — zamanlanmış olarak çalışır. Bir iş, kime yazmanın anlamlı olduğuna karar verir, ne söyleyeceğini bilecek kadar bağlam okur ve açmaya değer bir şey yazar. Bu, mesaj başına bir model çağrısıdır; üstelik henüz başlatmadığınız bir sohbet için.
Karakter anları (moments) da aynı şekilde çalışır: bir karakterin sayfasında yeni bir şey olsun diye, o gün onunla biri konuşmuş olsun ya da olmasın, arka planda sessizce üretilir.
İkisi de kredi düşmez. Bir karakter size ilk yazdığında ücret yok, bir an belirdiğinde de yok. Bizim takvimimizde çalışırlar ve bizim faturamıza yazılırlar.
Burada durup düşünmeye değer, çünkü alışıldık zihinsel modeli tersine çeviriyor. Model harcamamızın kayda değer bir kısmının arkasında hiçbir kullanıcı isteği yok. Var olma sebebi şu: yalnızca yanıt veren bir karakter, arada bir kendisi bir şey başlatan bir karakterden daha az canlı hissettiriyor — ve bu fark gerçek para tutuyor; hem de peşin harcanan, belki hiç yanıt almayacak sohbetlere harcanan para.
Moderasyon ön elemesi de bu kategoriye giriyor ve hepsinin en tuhafı bu. Biri bir karakteri şikâyet ettiğinde ilk inceleme bir model çağrısıdır — bir yabancı tarafından tetiklenir ve belki aylar önce yayımladığınız bir içeriğe yöneliktir. İkinizden de ücret alınmaz. Bir üretici karakterini yayımladığında görsellerinin bir görü modelinden geçmesi de aynı: kontrol bizim faturamızda çalışır, üstelik sonucunun "sorun yok" çıkmasını umduğumuz bir iş için.
Önerilen yanıtlar, ilk yanıt ince ayarı ve diğer küçük kalite geçişleri de aynı kategoride. Tek tek ucuz, sürekli çalışan, hiçbir zaman kalem kalem gösterilmeyen.
Evet, prompt önbelleklemesi kullanıyoruz
Makul bir devam sorusu: karakter tanımı ve konuşmanın başı mesajlar arasında değişmiyorsa, neden her seferinde göndermek için ödeyelim?
Ödemiyoruz — yapabildiğimiz yerde. Prompt önbelleklemesi zaten devrede ve istek başına önbellek isabet oranını izliyoruz; tam olarak, yayına aldığımız bir değişiklik yanlışlıkla bir önbellek ön ekini bozduğunda fark edebilmek için.
Ama isabet oranı kusursuz değil ve hiç olmayacak. İstekler OpenRouter üzerinden birden fazla sağlayıcıya yönlendiriliyor ve bir önbellek, onu oluşturan belirli sağlayıcıda yaşıyor. Sonraki mesaj başka bir arka uca giderse önbellek peşinden gelmez. Sağlayıcılar ayrıca önbelleklemeyi farklı semantiklerle, farklı asgari boyutlarla ve farklı sona erme davranışlarıyla sunar. Bunun ötesinde, bir prompt'un en sık değişen parçaları — en yeni mesajlar, güncellenmiş bir özet, yeni açılmış bir eklenti — tam olarak önbelleklenmiş ön ekin kuyruğunu geçersiz kılan yerde durur.
Önbellekleme faturayı anlamlı ölçüde düşürür. Ortadan kaldırmaz; teorik %100 isabeti temel almak, üretimle temasa dayanamayan sayılar üretir.
Yanılgı ve gerçek
Yanılgı: DeepSeek çok ucuz, o hâlde her yapay zekâ sitesi neredeyse bedava olmalı. Gerçek: Model API'si, bitmiş bir ürünü sunmanın maliyetinin bir bileşenidir. Çıkarım, fiyatı açık olan kısımdır; etrafını saran her şey ise hiçbir faturada görmediğiniz kısımdır.
Yanılgı: API faturasını sıfırlarsanız ürünü işletmek ucuzlar. Gerçek: Ucuzlamaz. Token'lar ucuzlayınca altyapı, depolama, moderasyon, destek ve mühendislik ortadan kalkmaz. Mesaj gönderilirken yapılan model çağrısı ücretsiz olsa bile bu çevresel maliyetler ve yukarıda anlatılan arka plan çağrıları kalır.
Yanılgı: Özetleme ve hafıza ücretsiz özellikler, demek ki sağlamak da ücretsiz. Gerçek: Sizin için ücretsiz. Özetleme, proaktif mesajlar, karakter anları ve moderasyon geçişleri bizim ödediğimiz model çağrılarıdır. Proaktif mesajlar ve karakter anları sizden istek gelmeden çalışabilir; moderasyon ise ücretli bir sohbet mesajıyla değil, yayınlama veya bildirimle tetiklenir.
Yanılgı: Prompt önbelleklemesi varsa tekrar eden bağlam bedavadır. Gerçek: Önbellekleme çok işe yarıyor ve kullanıyoruz. Çok sağlayıcılı yönlendirme, önbellek sona ermesi ve her prompt'un sürekli değişen kuyruğu, gerçek isabet oranlarını kusursuzun epey altında bırakıyor.
Yanılgı: Daha ucuz resmî olmayan bir API her şeyi çözerdi. Gerçek: Bir sayıyı düşürürken gecikme, kararsızlık, veri riski veya rol yapma kalitesi gibi başkalarını yükseltebilir. Bazı resmî olmayan uç noktalar istekleri değiştirir ya da sağlayıcının izni olmadan elde edilen erişimi yeniden satar. Devamı hemen aşağıda.
Yanılgı: Ücretsiz kullanıcılar platformun katlandığı bir maliyettir. Gerçek: Ücretsiz kullanıcılar platformun büyüme biçimidir. Birçoğu yaratıcı ve abone olur. Kısıt, ücretsiz kullanımın var olup olmaması değil; sürdürülebilir kalıp kalmaması.
Neden resmî fiyatları ödüyoruz
Model faturasını epeyce küçültmenin iyi bilinen bir yolu var: tersine mühendislikle çıkarılmış resmî olmayan uç noktalar. Kaynakları farklıdır. Bazıları sağlayıcının izin vermediği yollardan elde edilen erişimi yeniden satar; bu pazarın suistimalci ucunda kapasitenin bir bölümü çalıntı ödeme araçlarıyla finanse edilir.
Kullanmıyoruz ve kullanmayı da düşünmüyoruz. Bu kanallar model maliyetlerimizi ciddi biçimde kısardı. Baktık ve iki ayrı gerekçeyle hayır dedik.
Birincisi, bu düpedüz yanlış. Erişim dolandırıcılıkla elde edilmiş veya finanse edilmişse onu yeniden satmak, araya birkaç adım eklenmiş hırsızlıktır; sektörün bazı köşelerinde ne kadar olağanlaşmış olursa olsun. Platformu bu tür kanallarla finanse edip sonra şeffaflık üzerine yazı yazmayacağız.
İkincisi, ürünü bozuyor — ve bu, kullanıcıların bir yanıtın nereden geldiğini hiç öğrenmeseler bile doğrudan hissettikleri kısım:
- Gecikme artıyor. Tersine mühendislikle kurulmuş rotalar araya durak ekler, havuzlanmış hesapların arkasında sıraya girer ve öngörülemez biçimde kısıtlar. İki saniyede gelen yanıtla on iki saniyede gelen yanıt arasındaki fark, bir sohbetle bir form göndermek arasındaki farktır.
- Kendi sistem prompt'larını araya sokuyorlar. Birçok resmî olmayan uç nokta, istekleri yukarı akışa iletmeden önce kendi varsayılan sistem prompt'ıyla sarar. O prompt bize de size de görünmez ve karakter tanımıyla çatışır. Ses düzleşir. Karakterler tonu kaçırır, reddetmemeleri gereken şeyleri reddeder ya da genel bir asistan diline kayar. İlk zarar gören tam olarak rol yapma kalitesidir ve prompt sizde değilken teşhisi en zor gerileme türüdür.
- Haber vermeden kayboluyorlar — sağlayıcı açığı kapattığı anda, çalışan kurulumunuzu da yanlarında götürürler.
- Model sürümleri sessizce değişiyor; dün doğru hisseden bir karakter bugün, kimsenin açıklayamadığı bir sebeple farklı yanıt verir.
- Verileriniz için kimse sorumlu değil. Veri işleme sözleşmesi yok, saklama politikası yok, soracak kimse yok.
Reverie, insanların gerçekten emek verdiği sohbetleri barındırıyor. Bunları para biriktirmek için anonim bir aracıdan geçirmek, yapmaya razı olduğumuz bir takas değil. Resmî sağlayıcılar daha pahalı. Buna karşılık telefonu açıyorlar ve yolda karakterinizin talimatlarını yeniden yazmıyorlar.
Bu işin gerçek biçimi
Ekip küçük ve Reverie yüksek kârlı bir iş değil.
Bir mesajın kredi fiyatının neden sadece o mesajın token maliyeti olmadığının yapısal bir sebebi var ve anlamaya değer. Bir sohbette mesaj başına ölçülebilen tek şey çıkarımdır. Bu yazıdaki diğer her şeyin — özetleme, proaktif mesajlar, moderasyon geçişleri, depolama, sunucular, insanlar — faturalanacak doğal bir birimi yok. Kimse size "karakterinizin neyi hatırlaması gerektiğine karar veren arka plan işi" diye fatura kesemez.
Dolayısıyla ölçülebilen o tek şey, kendisinden fazlasını karşılamak zorunda. Token'ı olduğu gibi geçirmek yerine bir kredi sisteminin var olmasının tüm sebebi bu: bir mesaj tam olarak kendi token'ı kadar tutsaydı, etrafındaki her şey karşılıksız çalışıyor olurdu — ve etrafındaki her şey zaten büyük kısmı.
Kârı azamiye çıkarmaya çalışmıyoruz. Kalıcı zararla da çalışamayız; parası biten bir platform var olmayı bırakır ve bu, onu kullanan herkes için limitleri olan bir kredi sisteminden hayli kötü bir sonuçtur.
Bu iki kısıt arasında bilinçli olarak kullanıcıya yakın tarafı seçtik. Şu anki öncelik, resmî lansmandan önce yapabileceğimiz en iyi ürünü kurmak; para kazanmayı sıkmak değil. Bu, dönüşüm optimizasyonundan önce özellik çıkarmak ve kaliteyi yükseltmek demek; ve gelir birincil hedef olsaydı olacağından daha gevşek bir tablo demek.
Ücretsiz krediler de gerçek maliyet
Reverie'yi ödeme yapmadan kullanmanın epey yolu var:
- günlük giriş ödülü
- onun üstüne eklenen günlük şans çekilişi
- başarımlar
- resmî ödül görevleri (bounty)
- üretici ödülleri
- davet ödülleri ve davet ettiğiniz kişi kredi satın aldığında verilen komisyon
- paylaşım ödülleri
- kullanım kodları ve hediye kartları
- yıllık özet (Wrapped) ödülü
- topluluk katkıları; Reverie'yi duyurmaya yardım etmek dahil
Çekiliş konusunda somut olmakta fayda var, çünkü herkesin süs sandığı şey o. Beş kademesi var — 1.000 / 2.000 / 8.000 / 30.000 / 80.000 kredi — ağırlıkları ise 50 / 30 / 15 / 4 / 1. Çarpıp topladığınızda beklenen değer yaklaşık çekiliş başına 4.300 kredi çıkıyor. Kullanıcı başına, gün başına ve günlük giriş ödülünün üstüne. Hepsini üst üste koyduğunuzda ücretsiz katman göstermelik değil. Giriş tabanı 10.000 kredi, seri bonusları bunun üstüne biniyor — üçüncü gün +5.000, yedinci gün +8.000, otuzuncu gün +50.000, yüzüncü gün +200.000 — ve çekiliş tüm bunların da üstünde duruyor. Yedinci gün hiçbir şey harcamadan beklenen toplam yaklaşık 22.300 kredidir; gerçek miktar çekiliş sonucuna göre değişir.
Bu gerçekte ne kadar yetiyor
Bu noktada haklı bir soru var: yaklaşık 22.300 kredi neye yeter? Bunu hiç açıkça yazmadık.
Krediler token sayısı × modelin çarpanı olarak harcanır. Metin modellerinin çarpanları 0 ile 2 arasında değişir ve model seçici, siz bir şey göndermeden önce her birini gösterir.
Hafife alınan şey, token sayısının sabit olmaması: sohbetle birlikte büyüyor. Yeni bir sohbet birkaç bin token gönderir — karakter, persona'nız, biraz geçmiş. Uzun süredir devam eden bir sohbet çok daha fazlasını gönderir; çünkü son dökümanlar her turda birlikte gider. Ham geçmişi yaklaşık 10.000 token'da kesiyor, daha eskisini özete devrediyoruz — özetlemenin var olma sebebi tam olarak bu: bu tavan olmasa, altı aylık bir sohbet her mesajda tüm geçmişini yeniden gönderir ve tur başına maliyet sınırsız büyürdü.
Pratikte, yeni bir sohbette 0,3× bir modelde bir tur birkaç yüz krediye mal olurken, aynı tur uzun bir sohbetin derinlerinde 1× bir modelde on bin veya daha fazlasına çıkar. Aynı platform, aynı gün, bir büyüklük mertebesinden fazla fark.
Bu aralık, "kredilerim ne kadar dayanır" sorusunun dürüst cevabı. Beklediğinizden hızlı eriyorsa, muhtemelen pahalı bir modelde uzun bir sohbetin içindesinizdir — ve artık iki düğmeden hangisini çevireceğinizi biliyorsunuz.
Giriş ekranının kendisi de bir model çağrısı yapar. Giriş yaptığınızda karakterinizin size yazdığı o selamlama bir şablon değil: üretiliyor, karakter başına günde bir kez önbelleğe alınıyor ve kontrolden çıkmasın diye günlük sayısı sınırlanıyor. Yine de bizim ödediğimiz bir çıkarım — hem de var oluş amacı kredi dağıtmak olan bir sayfada.
Harcamanın nasıl işlediğine dair buraya ait bir ayrıntı daha var: ücretsiz krediler her zaman ücretli olanlardan önce harcanır. İkisi de varsa önce musluk boşalır. Bu bilinçli bir tercih — satın aldığınız krediler elinizde daha uzun kalır — ama aynı zamanda maliyeti her seferinde ilk üstlenen tarafın ücretsiz katman olduğu anlamına gelir.
Bunların her biri gerçek bir gider. Günlük ödülü alıp bir sohbette harcadığınızda model sağlayıcısı bize yine fatura keser, sunucular yine çalışır, özetleme yine yapılır. Krediler sizin için ücretsiz; arkasındaki hesaplama kimse için ücretsiz değil.
Yine de bu programları finanse ediyoruz; çünkü çoğu insan bu platformun kendisine uyup uymadığını ücretsiz erişimle anlıyor ve bugünün ücretsiz kullanıcılarının hatırı sayılır bir kısmı yarının yaratıcıları ve aboneleri oluyor. Ama bu, ancak ücretsiz kısım platformun taşıyabileceği sınırda kalırsa yürür. Rakamlar oynadığında programlar da ayarlanır — daha az vermek istediğimizden değil, taşıyabileceğinden fazlasını dağıtmak sonunda hiçbir şey dağıtamamakla bittiği için.
Maliyet düşerse fiyat da düşer
Bu bölüm bir betimleme değil, taahhüt.
Model fiyatları zamanla düşüyor. Önbellekleme iyileşiyor. Altyapı verimleşiyor. Kendi kodumuz token'ı daha az israf ediyor — son aylarda bağlam kurma ve özetleme üzerinde yapılan sessiz işin çoğu tam olarak buydu.
İşletme maliyetini kalıcı biçimde düşürmenin bir yolunu bulduğumuzda, bunu marja yazmak yerine kullanıcılara aktarmayı güçlü biçimde tercih ediyoruz. Daha ucuz modeller, daha iyi çarpanlar, daha cömert ödüller. Bunu defalarca yaptık ve sürdürmeyi yeğleriz; çünkü insanların bolca kullanmayı göze alabildiği bir platform, bizim için birazcık daha iyi bir marjdan daha değerli.
Buradaki kilit sözcük kalıcı. Geçici çıkan bir tasarrufu aktarmak, sonradan geri almak demektir ve bu, hiç vermemiş olmaktan kötüdür.
Aslında neye ödeme yapıyorsunuz
Reverie'de kredi harcadığınızda, bir model sağlayıcısından üzerine kâr konmuş token satın almıyorsunuz.
Olan biteni hatırlayan; ham bağlamın çoktan çökeceği noktanın ötesinde tutarlı kalan; çalışma süresinden ve verilerinizden sorumlu sağlayıcılar üzerinde koşan; yedeklenmiş ve dışa aktarılabilir olan; ve üzerinde tam zamanlı çalışan insanlar olduğu için birkaç haftada bir gözle görülür şekilde iyileşen bir sohbet için ödüyorsunuz.
Yine de daha çok ücretsiz kredi isteyebilirsiniz. Bu tamamen makul ve biz de daha fazlasını vermek isteriz — bunun üzerinde fiyat sayfası tarafından değil, maliyet tarafından çalışıyoruz.
Ama cevabın neden bir model sağlayıcısının fiyat sayfasındaki sayı kadar basit olmadığını bilmenizi tercih ederiz.
Belirli bir kesinti hakkında sorunuz mu var ya da rakamlarımızın bir yerde yanlış olduğunu mu düşünüyorsunuz? Kredi geçmişiniz her mesajın arkasındaki gerçek token sayısını gösteriyor ve Discord'umuz açık. Bulanık izlenimler yerine gerçek sayılar üzerinden tartışmayı tercih ederiz.
Burada anılan ödül tutarları ve kredi çarpanları yayın tarihindeki platformu yansıtır ve maliyetler değiştikçe güncellenir. Uygulama her zaman güncel değerleri gösterir.