Bağlam Penceresi nedir?

Bağlam penceresi (context window), bir LLM modelinin tek seferde işleyebildiği en fazla metin miktarıdır ve token cinsinden ölçülür. Bunu modelin bir andaki çalışma belleği gibi düşünebilirsiniz: sohbete verdiğiniz talimatlar, önceki mesajlar ve varsa yüklediğiniz belgeler hep bu pencerenin içine sığmak zorundadır.

Pencere ne kadar genişse model o kadar uzun bir metni aynı anda göz önünde tutabilir. Örneğin geniş bağlam penceresine sahip bir modele uzun bir sözleşmenin tamamını verip “şu maddeyle çelişen yerleri bul” diyebilirsiniz, çünkü belgenin bütününü tek seferde görür. Dar bir pencerede ise metnin yalnızca bir kısmı işlenebilir.

Bu kavram Tokenizasyon ve Prompt Mühendisliği ile doğrudan ilişkilidir, çünkü verdiğiniz her kelime pencereden yer kaplar. Sınır aşıldığında model en eski bağlamı unutmaya başlar ve tutarsız yanıtlar verebilir. İşte bu sınırı aşmak için RAG gibi yöntemler kullanılır, yani modele ihtiyaç duyduğu bilgiyi o an dışarıdan getirip yalnızca ilgili kısmı pencereye sokmak tercih edilir.