DONANIM & OPTİMİZASYON // LOKAL LLM

Lokal Yapay Zeka ile Masrafı Sıfırlama & Donanım Optimizasyon Rehberi

Aylık 20-200 dolarlık bulut aboneliklerinden kurtulun. Ekran kartı VRAM hesabı, RAM darboğazının önlenmesi ve Qwen, Gemma, Flux modellerini kendi bilgisayarınızda sınırsız çalıştırmanın teknik detayları.

Kod ve parametre bloklarına tıklayarak doğrudan kopyalayabilirsiniz.

0$ Aylık

Token sınırı ve kota derdi yok

≥8 GB VRAM

Verimli kodlama ve görsel eşiği

%100 Gizlilik

Şirket verileri cihaz dışına çıkmaz

01 // VRAM vs CPU 02 // RAM Darboğazı 03 // Model Haritası 04 // Ollama Kurulumu 05 // Hız Optimizasyonu

01 // DONANIM DENGESİ

İşlemciden Kısıp Ekran Kartına Yatırmak Neden Şart?

Yapay zeka modelleri (LLM'ler ve difüzyon modelleri) işlemci gücüne değil, bellek bant genişliğine bakar. Standart bir sistem toplarken bütçeyi i7/i9 ve ekran kartı arasında 50-50 bölmek lokal yapay zeka için en büyük hatadır.

Örnek: RTX 3070 (8 GB) ile RTX 3080 (10/12 GB) kağıt üzerinde oyunlarda yakın görünebilir. Ancak LLM dünyasında ek 2-4 GB VRAM, modelin sistem RAM'ine taşmadan tamamen GPU içinde kalmasını sağlar. Bu da 5 kat hız farkı demektir.

02 // SİSTEM RAM DARBOĞAZI

Model RAM'e Taşınca Ne Olur? (Token/Sn Düşüşü)

Ekran kartınızın VRAM'i modeli tam sığdırmaya yetmediğinde Ollama katmanları otomatik olarak sistem RAM'ine böler (CPU offload). Bu durumda:

GDDR6X belleğin ~900 GB/sn hızından standart DDR4/DDR5 belleğin ~50-80 GB/sn hızına düşersiniz. Saniyede 45 token üreten bir model, saniyede 3-4 tokene kadar geriler. Bu yüzden model seçerken kartınızın saf VRAM boyutuna sığacak kuantize (Q4_K_M) modelleri tercih etmelisiniz.

03 // MODEL HARİTASI

Hangi Görev İçin Hangi Modeli Seçmelisin?

Kullanım Alanı	Önerilen Model	Minimum VRAM	Özellik
Kodlama & Refactor	Qwen 2.5 Coder (7B / 14B)	6 GB / 10 GB	Python, TS ve SQL'de Claude kalitesine çok yakın sonuçlar.
Günlük Asistan & Özet	Google Gemma 2 (9B)	8 GB	Hızlı Türkçe anlama, metin analizi ve soru-cevap.
Görsel Üretim	Flux.1 Schnell (NF4)	10 GB - 12 GB	4-8 adımda fotogerçekçi görsel çıktısı (ComfyUI).

04 // HIZLI KURULUM

Ollama ile Tek Satırda Çalıştırma

Ollama'yı kurduktan sonra terminalden aşağıdaki komutlarla modelleri doğrudan çekebilirsiniz:

BASH // Kodlama Modeli (Qwen 2.5 Coder 7B)

ollama run qwen2.5-coder:7b

BASH // Genel Asistan Modeli (Gemma 2 9B)

ollama run gemma2:9b

05 // OPTİMİZASYON & AYARLAR

Token Hızını Artıran Modelfile Ayarları

Context penceresini gereksiz büyük tutmak VRAM'i tüketir. Projenize göre 8K-16K aralığında sabitlemek hızı ikiye katlar:

MODELFILE // Özel Yapılandırma

FROM qwen2.5-coder:7b
PARAMETER num_ctx 8192
PARAMETER temperature 0.2
PARAMETER top_p 0.95
SYSTEM "Sen kıdemli bir yazılım mimarısın. Sadece temiz, production-ready kod yaz ve lafı uzatma."

Diğer Araç ve Rehberleri İncele →