Tokenizasyon nedir?

Tokenizasyon, bir metnin yapay zeka modelinin işleyebileceği token adı verilen küçük parçalara (kelime, hece veya karakter grupları) bölünmesidir. LLM modelleri metni doğrudan değil bu tokenlar üzerinden işler ve maliyet genelde token sayısına göre hesaplanır. Bağlam Penceresi sınırı da token cinsindendir; Embedding üretimi de tokenlar üzerine kuruludur.