Yapay zeka modellerini yerelde çalıştırmak artık donanım sınırlarına hapsolmak zorunda değil. Apple ekosisteminde atıl duran ikinci cihazlar, tek bir LAN kablosu veya yerel ağ üzerinden birincil makinenin işlem gücüne katılıyor. Açık kaynaklı OMLX v0.7.4 güncellemesi, büyük dil modellerinin en kritik darboğazı olan "prefill" (istek ön işleme) aşamasını iki Mac arasında dağıtarak yerel çıkarım süresini 2.9 kat hızlandırıyor; üstelik tek kuruşluk bulut maliyeti veya ek donanım yatırımı gerektirmeden.
Yerel Çıkarımda Yeni Mimari: Dağıtık Prefill
Prefill Nedir ve Neden En Büyük Darboğazdır?
Prefill, bir dil modelinin kullanıcıdan gelen girdiyi, sistem komutlarını veya yüklenen uzun belgeleri çıktı üretmeye başlamadan önce analiz edip tensor matrisine işlediği ilk aşamadır. Özellikle 4K ve üzeri context window pencerelerinde veya yoğun belgeli RAG mimarilerinde sistemin en çok zorlandığı ve beklettiği evre burasıdır; bu evre ne kadar uzarsa, ilk yanıt süresi (TTFT - Time to First Token) o kadar gecikir.
Standart MLX Çıkarımı ve OMLX Dağıtık Prefill Arasındaki Farklar
Standart MLX altyapısı tek bir Mac'in birleşik bellek mimarisine ve GPU çekirdeklerine dayanır; bu modelde tüm prompt analizi sırayla tek makinede işlenir. OMLX v0.7.4 ise tensor operasyonlarını yerel ağ (LAN) üzerinden serileştirerek bir ana makine ve bir ikincil işçi yapısı kurar; prompt parçalarını iki cihaz arasında paralel işleyerek toplam gecikmeyi minimize eder.
Masadaki İkinci Mac’i Yapay Zeka Kümesine Dönüştürmek
Ofiste veya evdeki çalışma masasında duran eski bir M-serisi Mac mini ya da ikinci bir MacBook, artık yedek cihaz olmaktan çıkıp doğrudan bir yapay zeka hızlandırıcısına dönüşüyor.
Mikro Senaryo: 13 milyar parametreli (13B) bir yerel modele 4.096 token’lık uzun bir kod bloğu veya doküman gönderildiğinde, tek bir Mac üzerinde prefill süresi yaklaşık 8.7 saniye sürerken; OMLX v0.7.4 ile bu bekleme süresi 3.0 saniyeye iniyor.
Tetikleyici ve Sınırlar: Sistem 10 ms altındaki yerel ağ gecikmelerinde çalışacak şekilde optimize edilmiştir. Modelin çıktı üretme aşaması (token generation / saniye başına düşen kelime hızı) yine ana makinede yürütülürken, kullanıcının hissettiği ilk tepki süresi ciddi oranda kısalır.
ÖZET:
Kavram / Terim | Temel Odak Noktası | Sağladığı Avantaj / Çıktı |
OMLX v0.7.4 | İki Apple Silicon Mac arasında dağıtık yerel çıkarım koordinasyonu. | Prompt işleme aşamasında 2.3x ile 3.1x performans artışı. |
Prefill Aşaması | Üretim başlamadan önce tüm bağlamın ve prompt verisinin hesaplanması. | İlk token üretilme süresini (Time to First Token - TTFT) belirleyen kritik adım. |
Dağıtık MLX Mimarisi | Apple'ın MLX altyapısını ağ soketleri ve tensör serileştirme ile genişletme. | Buluta ihtiyaç duymadan, yerel ağda gizlilik odaklı ve sıfır maliyetli hesaplama kümesi. |
