1. Donanım Mimarileri: Unified Memory vs. Discrete GPU
Lokal ve kenar çıkarım senaryolarında donanım seçimi iki temel mimari yaklaşıma dayanır:
Apple Silicon Unified Memory (Birleşik Bellek)
CPU, GPU ve Neural Engine aynı fiziksel bellek havuzunu paylaşır. Bellek kopyalama (PCIe transfer) maliyeti sıfırdır. Gen 5 SSD entegrasyonu (13.700 MB/s okuma hızı) sayesinde cold-start süreleri kısalır. 64GB, 128GB veya 192GB birleşik belleğe sahip Mac sistemleri, standart dizüstü GPU'ların VRAM sınırına takılan devasa modelleri (örneğin 120B parametreli kuantize modelleri) kesintisiz yükleyebilir.
Ayrık GPU (Discrete GPU - NVIDIA RTX / Datacenter)
Ayrık VRAM sabit bir kapasite tavanına sahiptir. VRAM sınırına sığan modellerde çok yüksek saniye başına token hızı elde edilirken, VRAM kapasitesini aşan modellerde sistem çalışmaz hale gelir.
2. Karşılaştırma Matrisi
LLM altyapı ekosistemindeki önde gelen çıkarım motorlarının teknik nitelikleri aşağıda verilmiştir:
Çalışma Zamanı (Runtime) | Mimari Taban | Öne Çıkan Güçlü Yönü ve Performansı | Temel Sınırlaması | Tipik Kullanım Senaryosu |
|---|---|---|---|---|
MLX / vllm-mlx | Apple Metal / Native | En yüksek sürdürülebilir decode hızı (M2 Ultra'da 230 tok/s, M4 Max'ta Qwen3-0.6B ile 525 tok/s). | Yalnızca macOS/Apple Silicon ortamı. | Mac altyapısında yüksek verimli sunucu ve yerel servis. |
MLC-LLM | TVM Compiler | En düşük TTFT, 128k paged KV desteği ve çapraz platform SDK. | Yüksek bellek tüketimi ve ön derleme maliyeti. | Uzun bağlamlı doküman analizi ve mobil/çapraz platform. |
llama.cpp | C/C++ / Metal/CUDA | Düşük kaynak kullanımı, hızlı cold-start, GGUF standardı. | Eşzamanlı istek (batching) yetersizliği (32k bağlamda 1.2 tok/s'ye düşüş). | Bireysel kullanım, kenar cihazlar ve yerel prototipleme. |
Ollama | Go / llama.cpp | Mükemmel geliştirici ergonomisi, hazır model deposu ve SSE. | Düşük verim (35 tok/s) ve 100k bağlamda yüksek TTFT (>50s). | Lokal geliştirici ortamları ve hızlı entegrasyon. |
PyTorch MPS | PyTorch Metal | PyTorch ekosistemiyle doğrudan uyumluluk. | 4GB tekil tensör sınırı, zayıf bellek yönetimi, OOM hataları. | Temel araştırma ve küçük ölçekli deneyler. |
vLLM (CUDA) | CUDA / PagedAttention | Veri merkezi GPU'larında endüstri standardı continuous batching. | Sadece NVIDIA GPU ekosistemi. | Kurumsal bulut sunucuları ve yüksek eşzamanlı servis. |
3. Benchmarking Verileri
Apple Silicon üzerinde vllm-mlx çalışma zamanı ile yapılan deneysel çıkarım hızları şu şekildedir:
M4 Max:
Bonsai-1.7B (2-bit): ~315 tok/s
Qwen3.5-4B (4-bit): ~138 tok/s
Gemma-4-26B (4-bit): ~108 tok/s
Qwen2.5-14B (4-bit): ~45.8 tok/s
Qwen3.6-27B (4-bit): ~25.9 tok/s
M5 Max (Referans/Karşılaştırma):
Bonsai-1.7B (2-bit): ~329 tok/s
Qwen3.5-4B (4-bit): ~130 tok/s
GPT-OSS-20B (MXFP4): ~107 tok/s
Qwen3.6-35B-optiq (4-bit): ~92.9 tok/s
Qwen3.5-9B (4-bit): ~78.9 tok/s
> Sonraki Bölüm: Serimizin 4. ve son yazısında, 2026 yılı öncü model mimarilerini ve A'dan Z'ye tematik teknik terimler sözlüğünü paylaşacağız.