Kapag nagpadala ka ng mensahe sa isang AI chat site, may pinupuntahan ito. Ipinapasa ito ng site sa isang model, isinusulat ng model ang sagot, at ipinapakita ito sa iyo ng site. Ang bahaging hindi mo nakikita ay kung sino ang nasa pagitan ng site at ng model.
Sa maraming platform, ang sagot ay ang vendor mismo ng model, o isang marketplace gaya ng OpenRouter na sinisingil ang platform sa bawat request. Sa ilan, isa itong API relay: isang serbisyong nagbebenta ulit ng access sa isang model sa sarili nitong endpoint. Mura ang mga relay dahil kadalasang hindi binayaran nang buo ang access sa likod nila: mga shared account, mga reverse-engineered na app, mga key na nabili nang mura mula sa account ng iba, at sa pinakamalalang kaso, compute na binayaran gamit ang mga nakaw na card.
May isang dahilan kung bakit mahalaga ito sa iyo: ang relay ay isang estranghero na may hawak ng usapan mo, at walang mananagot sa gagawin nito rito. Kung nagtatago ito ng mga log, naglalabas o nagbebenta ng mga ito, hindi malalaman ninuman, ikaw man o ang platform.
Karamihan ng tao ay hindi kayang i-audit ang code ng isang platform. Pero nag-iiwan ang relay ng mga bakas na makikita mula sa labas. Walang senyales sa ibaba ang nagpapatunay ng kahit ano nang mag-isa; kapag ilan ang sabay-sabay na lumitaw, dapat na itong seryosohin.
1. Hindi nagtutugma ang presyo
Pampubliko ang presyo ng mga model. Inilalathala ito ng mga vendor kada milyong token, at ganoon din ang OpenRouter para sa bawat model na mayroon ito.
Magastos patakbuhin ang roleplay dahil ipinapadala ulit ng bawat sagot ang usapan: ang character card, ang mga buod, ang kamakailang history. Ang isang sagot sa malalim na bahagi ng mahabang chat ay madaling nagpapadala ng 10,000 input token o higit pa. Sa isang model na may nakalistang $3 kada milyong input token, tatlong sentimo iyon ng input para sa isang sagot, bago pa maisulat ang sagot mismo.
Kaya kapag nag-aalok ang isang site ng walang limitasyong chat sa isang premium na model sa ilang dolyar kada buwan, magkuwenta ka. Kung mas malaki ang gastos sa API ng isang aktibong user kaysa sa kinikita mula sa subscription niya, sinasadya ng site na malugi (posible, nang pansamantala) o hindi nito binabayaran ang nakalistang presyo.
2. Walang gustong magsabi kung saan napupunta ang mga request
Walang dahilan ang isang platform na tumatawag ng mga model sa mga opisyal na channel para itago iyon. Maghanap ng pangalan ng provider sa docs, FAQ o privacy policy ng site. Sa maraming lugar, inaasahan ng mga batas sa privacy na sabihin ng isang serbisyo kung sino ang nagpoproseso ng data mo para sa kanila.

