ggml-org/llama.cpp — 121k+ yıldız · C++
Ne işe yarar?
Nicemlenmiş modelleri (GGUF), CPU/GPU hızlandırmayı ve hafif bir sunucuyu destekler. Yerel LLM ekosisteminin çoğunun temelidir.
Nasıl kullanılır?
Derle ve GGUF model dosyalarında CLI ya da sunucu üzerinden çıkarım çalıştır.
Kuzey Kutbu ipucu
Bu araçları keşfederken kodun temelini Kuzey Kutbu dersleriyle sağlam at; yapay zekâyı bir yardımcı gibi kullan, ürettiği kodu anlamadan kopyalama.