$OPENAI
#OpenAI 

+9
În OpenAI, tokenii sunt blocurile fundamentale ale textului pe care modelele AI le citesc și le scriu. Îi poți considera ca fiind bucăți de cuvinte. Înainte de a procesa cererea ta, AI descompune textul în aceste mici fragmente și le atribuie ID-uri numerice. [1, 2]
Bazele Token-ului
Ce sunt: Un token poate fi un singur caracter, un cuvânt parțial sau un cuvânt întreg. Cuvintele comune sunt adesea reprezentate de un singur token, în timp ce cuvintele mai lungi sau mai puțin comune sunt împărțite în mai multe tokenuri.
Regulile de Bază în Engleză:
\(1 \text{ token} \approx 4 \text{ caractere}\) sau \(0.75 \text{ cuvinte}\)
\(100 \text{ tokeni} \approx 75 \text{ cuvinte}\)
\(1 \text{ paragraf} \approx 100 \text{ tokeni}\)
Varianta Lingvistică: Tokenizarea se schimbă în funcție de limbă. De exemplu, limbi precum hindi sau arabă necesită mai mulți tokeni pe cuvânt comparativ cu engleza. [1, 2, 3, 4]
De ce Contează Tokenii
Prețuri: OpenAI taxează utilizarea API-ului pe baza numărului total de tokeni procesați. Plătești atât pentru tokenii de input (cererea pe care o trimiți), cât și pentru tokenii de output (răspunsul pe care îl generează AI-ul).
Feronieră de Context: Fiecare model AI are o "feronieră de context" maximă, care este numărul total de tokeni pe care îl poate ține în memoria sa pe termen scurt într-un anumit moment. Această limită include atât cererea ta, cât și răspunsul generat. [1, 2, 3, 4, 5]
Cum să Calculezi Tokenii
Pentru a evita surprizele în facturile tale API sau depășirea limitelor de context, poți calcula numărul exact de tokeni înainte de a trimite o cerere. [1, 2]