LLM Bölüm 4: A'dan Z'ye LLM Terimler Sözlüğü

1. Öncü Model Mimarileri ve Liderlik Alanları (Ekim 2026 Güncel Durumu)

2. A'dan Z'ye LLM Sözlüğü

Mimari, Bellek ve Donanım Hiyerarşisi

• Autoregressive Generation (Otoregresif Üretim): Modelin her adımda bir sonraki token'ı, geçmiş tüm token dizisini hesaba katarak sırayla üretmesi süreci.

• Chunked Prefill: Uzun bağlam istemlerinin (prefill fazı) tek seferde tüm GPU'yu kilitlemesini önlemek amacıyla girdiyi mantıksal bloklar halinde işleyip araya decode adımlarını serpiştiren zamanlama algoritması.

• Context Window (Bağlam Penceresi): Modelin tek bir işlem adımında dikkat (attention) mekanizmasıyla ilişkilendirebildiği maksimum token dizisi uzunluğu.

• Decode Phase (Kod Çözme Fazı): Modelin otoregresif olarak tek tek yeni token ürettiği, donanımın hesaplama gücünden ziyade bellek bant genişliği sınırına (memory bandwidth-bound) takıldığı safha.

• Encoder-Decoder / Decoder-Only: Giriş metnini anlama (Encoder) ve çıktı üretme (Decoder) parçaları. Modern üretken LLM'lerin ezici çoğunluğu Decoder-Only mimarisindedir.

• FlashAttention (v2 / v3): Dikkat matrisini GPU SRAM belleğinde bloklar halinde (tiling) hesaplayarak yüksek gecikmeli HBM bellek transfer trafiğini minimize eden algoritma.

• Grouped-Query Attention (GQA): Çoklu sorgu başlıklarına karşılık sınırlı sayıda Key ve Value başlığı kullanarak KV Cache boyutunu ve bellek transfer ihtiyacını ciddi oranda düşüren mimari düzenleme.

• Hybrid SSM-Transformer (Mamba / Jamba): Doğrusal karmaşıklıkla ölçeklenen Durum Uzay Modelleri (SSM) ile Transformer bloklarını birleştirerek uzun bağlamlarda hız ve sabit bellek ayak izi sunan hibrit yapı.

• KV Cache: Decode adımında her token için geçmiş Key ve Value vektörlerini VRAM'de saklayarak tekrarlı matris çarpımlarını önleyen dinamik bellek alanı.

• Memory Bandwidth (Bellek Bant Genişliği): Verinin HBM veya VRAM'den hesaplama çekirdeklerine (Tensor Cores) saniyede aktarılma hızı (GB/s). Decode fazındaki TPS tavanını doğrudan belirleyen fiziksel sınırdır.

• MoE (Mixture of Experts - Uzman Karışımı): İleri beslemeli (FFN) katmanları bağımsız alt uzmanlara bölen, her token için sadece belirli sayıda uzmanı (Top-K) aktive ederek hesaplama maliyetini düşüren seyrek (sparse) mimari.

• Multi-head Latent Attention (MLA): Key ve Value matrislerini düşük boyutlu gizli (latent) bir uzaya sıkıştırarak KV Cache belleğini standart MHA/GQA'ya kıyasla %80'e varan oranda azaltan mimari yenilik (DeepSeek yaklaşımı).

• PagedAttention: KV Cache verilerini işletim sistemlerindeki sanal bellek sayfalaması gibi dinamik bloklarda tahsis ederek bellek parçalanmasını (fragmentation) sıfırlayan teknoloji (vLLM çekirdeği).

• Positional Encoding / RoPE (Rotary Position Embedding): Token'ların dizi içerisindeki bağıl sıra bilgisini kompleks düzlemde döndürme matrisleriyle vektörlere ekleme yöntemi.

• Prefill Phase (Ön Doldurma Fazı): Kullanıcı isteminin paralel matris çarpımlarıyla tek seferde GPU çekirdeklerine yüklenerek KV Cache'in ilk kez doldurulduğu, hesaplama yoğun (compute-bound) ilk safha.

• Prefix Caching (Radix Attention): Sistem istemleri, ortak dokümanlar veya sık tekrarlanan bağlam bloklarının KV Cache izdüşümlerini bellek ağacında saklayarak mükerrer prefill hesaplamasını atlayan mekanizma.

• Token / Tokenizer: Metnin anlamsal olarak bölündüğü en küçük sayısal alt birim ve bu eşlemeyi yapan sözlük modülü.

Optimizasyon, Sıkıştırma ve Çıkarım (Inference)

• AWQ (Activation-aware Weight Quantization): Modelin tüm ağırlıklarını tekdüze sıkıştırmak yerine aktivasyon dağılımında kritik rol oynayan ilk %1'lik ağırlıkları koruyan 4-bit ağırlık kuantizasyonu.

• Continuous Batching (Iteration-level Scheduling): Farklı zamanlarda gelen ve farklı uzunluklarda biten istekleri her token üretim döngüsünde dinamik olarak bir araya getiren GPU zamanlama mimarisi.

• FP8 / FP4 (Floating Point Precision): Modern donanım neslinde (NVIDIA Blackwell, AMD MI300) yaygınlaşan, geleneksel INT formatlarına kıyasla sayısal dinamik aralığı koruyarak kayıpsız hızlanma sağlayan düşük bit kayan nokta standardı.

• GGUF: llama.cpp ekosistemi tarafından geliştirilen; CPU, Apple Silicon ve tüketici GPU'larında karma bellek (RAM offloading) kullanımı için optimize edilmiş açık format.

• GPTQ: İkinci derece Taylor serisi matris optimizasyonu kullanarak model ağırlıklarını katman bazında 4-bite indiren statik post-training kuantizasyon yöntemi.

• Kernel Fusion: Ayrık çalışan birden fazla matematiksel CUDA/Triton işlemini tek bir GPU çekirdeğinde birleştirerek VRAM yazma-okuma gecikmesini ortadan kaldıran derleyici tekniği.

• Knowledge Distillation (Bilgi Aktarımı): Yüksek parametreli bir öğretmen modelin olasılık logit'lerini ve mantıksal ara adımlarını hedef alarak kompakt bir öğrenci modeli eğitme tekniği.

• LoRA / QLoRA: Büyük modelin temel ağırlıklarını dondurarak katmanlara düşük rank'li çarpan matrisler ekleme yöntemi (QLoRA bu işlemi 4-bit sıkıştırılmış temel model üzerinde uygular).

• Pruning (Yapısal / Yapısal Olmayan Budama): Model performansını asgari düzeyde etkileyen sıfıra yakın ağırlıkların, dikkat başlıklarının veya katmanların fiziksel olarak çıkarılması (SparseGPT vb.).

• Quantization (Nicemleme): Ağırlık ve aktivasyon hassasiyetini (FP16/BF16) daha düşük bit formatlarına (FP8, INT4, 2-bit EXL2) indirgeyerek VRAM tasarrufu ve bellek bant genişliği kazanımı sağlama.

• Speculative Decoding (Spekülatif Kod Çözme): Küçük ve hızlı bir taslak (draft) modelin arka arkaya ürettiği token dizisini büyük hedef modelin tek bir paralel matris adımında doğrulamasıyla (verify) çıkarımı hızlandıran teknik.

• Test-Time Compute (Çıkarım Anı Akıl Yürütme): Modelin yanıt vermeden önce düşünme adımlarını (chain-of-thought) genişleterek, arama ağaçları veya test-time sampling stratejileriyle çıkarım anında ekstra FLOP harcayıp karmaşık problemleri çözmesi paradigması.

Operasyonel Metrikler, Güvenilirlik ve Değerlendirme

• Alignment Tax (Hizalama Vergisi): Modeli güvenlik, önyargı azaltma ve insan tercihlerine uyumluluk (RLHF/DPO/KTO) süreçlerinden geçirirken temel muhakeme veya kodlama başarımında meydana gelebilen aşınma payı.

• Cold-Start Time: Model ağırlıklarının diskten VRAM/RAM belleğe taşınması, kernel'ların derlenmesi ve ilk sorguyu almaya hazır hale gelmesine kadar geçen toplam ısınma süresi.

• Function / Tool Calling: Modelin salt metin üretmek yerine, yapılandırılmış şemalar (JSON schema) doğrultusunda harici API'leri veya veritabanı sorgularını tetikleyecek yapılandırılmış argümanlar üretme yeteneği.

• Grounding (Dayanaklandırma): Modelin serbest çağrışımlı üretimini kısıtlayarak çıktıları deterministik olarak harici bir bilgi kaynağına, RAG dokümanına veya veritabanı kaydına bağlama operasyonu.

• Hallucination (Halüsinasyon): Modelin eğitim verisindeki olasılıklara dayanarak son derece ikna edici, mantıksal akışı düzgün ancak olgusal olarak yanlış bilgi üretmesi durumu.

• LLM-as-a-Judge: Çıktıların kalitesini, tonunu veya RAG doğruluğunu derecelendirmek için önceden tanımlanmış bir rubrikle daha yetkin bir hakem LLM kullanılması.

• Needle In A Haystack (NIAH): Modelin yüzbinlerce veya milyonlarca token'lık devasa bir metin bloğu ("samanlık") içerisine yerleştirilmiş tek bir spesifik bilgiyi ("iğne") bağlam derinliğine bağlı kalmaksızın bulup çıkarabilme başarısını ölçen stres testi.

• RAG Triad (Dayanaklılık, Cevap Uygunluğu, Bağlam Uygunluğu): Bir RAG hattının doğruluğunu ölçen üç temel metrik: Geri getirilen bağlamın soruyla alakası, model yanıtının bağlama sadakati (faithfulness) ve cevabın kullanıcının asıl sorusunu karşılama derecesi.

• TPOT (Time Per Output Token): İlk token alındıktan sonra, yanıt akışı (streaming) boyunca arka arkaya gelen her bir token arasındaki milisaniye cinsinden bekleme süresi.

• TPS (Tokens Per Second): Sistemin tek bir kullanıcıya sunduğu anlık akış hızı (client TPS) veya sunucu donanımının eşzamanlı tüm isteklerde toplam ürettiği token hacmi (system throughput TPS).

• TTFT (Time to First Token): İstem sunucuya ulaştıktan sonra ön doldurma (prefill) safhasının tamamlanıp ilk çıktı token'ının kullanıcı ekranında belirdiği ana kadar geçen toplam gecikme süresi.

3. Genel Özet ve Yayın Sonu

Bu 4 bölümlü yazı serisi boyunca, Büyük Dil Modellerinin istem işleme aşamasından (Prefill) otoregresif metin üretimine (Decode), bellek yönetiminden (PagedAttention, KV Cache) sıkıştırma ve hızlandırma tekniklerine (AWQ, FlashAttention, Speculative Decoding) ve donanım/çalışma zamanı karşılaştırmalarına kadar tüm teknik mimariyi inceledik. Bu kaynak, prodüksiyon ortamında yüksek verimli ve düşük maliyetli LLM sistemleri inşa etmeniz için rehber niteliğindedir.