QwenPU: Bir LLM Başka Bir LLM’in İçinde Nasıl Çalışır?

Büyük dil modellerini bugüne kadar yalnızca metin üreten olasılıksal makineler olarak gördük; ancak yapay zekanın donanım ve yazılım katmanları arasındaki sınırlar eriyor. Bir modelin dışarıdan araç çağırması veya metin tabanlı simülasyon yapması artık dünün paradigmasıdır. Araştırmacı divagr1925 tarafından yayımlanan QwenPU, harici bir çalıştırma ortamına ihtiyaç duymadan, doğrudan bir modelin kendi tensör ağırlıkları içine derlenmiş sanal bir işlemci inşa ediyor. Bu hamle, sinir ağı parametrelerinin salt birer bilgi deposu değil, aynı zamanda doğrudan programlanabilir bir hesaplama altyapısı olduğunu kanıtlayan radikal bir mimari manifestodur.

QwenPU Mimarisi ve Ağırlık Uzayı Kavramı

QwenPU Nedir? / Neden Önemlidir?

QwenPU, temel bir açık kaynaklı dil modelinin ağırlık matrisleri içerisine sanal bir RISC-V işlemci ve özel bir vektör birimi (NPU/vector unit) gömerek, modelin ileri yayılım döngüsü esnasında başka bir dil modelinin çıkarımını yerel olarak çalıştırmasını sağlayan iç içe geçmiş bir sanal makine mimarisidir. QwenPU’nun önemi; harici Python betiklerine, donanım emülatörlerine ya da ek API çağrılarına ihtiyaç duymaksızın standart Qwen çıkarım hattı üzerinde salt ağırlık tensörleri aracılığıyla deterministik işlem yapabilmesinden kaynaklanır.

Ağırlık Uzayı Programlama ve Geleneksel Simülasyon Arasındaki Farklar

Geleneksel LLM simülasyonlarında bir modele "Bir terminal gibi davran" veya "Python kodunu çalıştır" istemi verildiğinde, model sonraki kelimeleri olasılıksal olarak tahmin eder ve mantıksal hatalara açıktır. Ağırlık uzayı programlamasında ise ağırlıklar gradyan inişi ile eğitilmez; matematiksel bir derleyici aracılığıyla mikroişlemci kapıları gibi doğrudan hesaplanır ve yazılır. Dışarıdan kod koşturan ajan yapıları (API tool use) harici ortamlara bağımlıyken, QwenPU işlem mantığını ve durum yönetimini Gated DeltaNet katmanlarının hidden state tamamen modelin kendi bellek alanı içinde saklar.

Donanım Olmadan Donanım: Derinlik ve Uygulama Dinamikleri

Mikro Anlar ve Tetikleyiciler

QwenPU mekanizmasının merkezinde, host modelin (örneğin 4 milyar parametreli bir modelin) forward pass sürecini bir sanal işlemci clock cycle dönüştürmesi yatar:

• DeltaNet Katmanlarının RAM Olarak Kullanımı: Qwen mimarisinde yer alan Gated DeltaNet katmanları, her token üretim adımında güncellenebilen bir duruma sahiptir. QwenPU, bu durum matrislerini doğrudan CPU registers, K/V önbellekleri ve RAM olarak haritalandırır.

• İç Modelin İcrası (stories260K Senaryosu): Konak modelin parametrelerine gömülen vektör birimi, Andrej Karpathy'nin llama2.c projesinden bilinen 260 bin parametrelik küçük bir dil modelini (stories260K) çalıştırır. C diliyle yazılmış bu sinir ağı kodu, 4 milyar parametrelik host modelin ürettiği her iz tokeni ile adım adım çalışarak harici hiçbir kütüphane olmadan çocuk hikayeleri üretir.

• Sandboxing ve Yorumlanabilirlik: Yapay zeka güvenlik testlerinde, riskli modelleri veya test edilecek ajan mantıklarını harici sunucularda izole etmek yerine doğrudan parametre sınırları içerisine hapsedilmiş bu tür sanal makinelerde çalıştırmak; kaçış açıklarını sıfırlayan donanımsız bir güvenlik bariyeri sağlar.

Yapılandırılmış Veri Tablosu