GPU VPS’te büyük dil modeli (LLM) çalıştırma: Ollama ile başlangıç

Büyük dil modellerini (LLM) kendi sunucunuzda çalıştırmak, verilerinizin bir dış hizmete gitmemesini, kullanım başına ücret ödememenizi ve modeli kendi ihtiyaçlarınıza göre ayarlamanızı sağlar. Bir GPU, bu işi CPU’ya göre kat kat hızlandırır. Bu rehber, Ollama ile bir GPU’lu sunucuda yerel model çalıştırmanın temel adımlarını anlatır.

GPU VPS ne işe yarar?

• Çıkarım (inference): hazır bir modelle soru-cevap, özetleme, kod yardımı.
• Gizlilik: belgeler ve istemler sunucunuzdan çıkmaz.
• Diğer GPU işleri: görüntü üretimi, video işleme, bilimsel hesaplama ve render.

Bellek (VRAM) planlaması

Bir modelin hızını ve çalışıp çalışmayacağını en çok GPU belleği (VRAM) belirler. Genel kural olarak model parametre sayısına ve nicemlemeye bağlıdır: küçük nicemlenmiş bir 7–8 milyar parametreli model birkaç GB VRAM ile çalışırken, çok daha büyük modeller onlarca GB ister. Model, bağlam uzunluğu ve eşzamanlı kullanıcı sayısı arttıkça bellek ihtiyacı yükselir. GPU’lu paketlerimizdeki ekran kartı ve VRAM miktarını ürün sayfasından görebilirsiniz.

1. Sürücüyü kontrol edin

nvidia-smi

GPU’nuzu ve sürücü sürümünü listeliyorsa hazırsınız. Komut bulunamıyorsa Ubuntu’da önerilen sürücüyü kurun:

sudo ubuntu-drivers install
sudo reboot

2. Ollama’yı kurun

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

Güvenlik notu: İnternetten indirilen bir betiği doğrudan çalıştırmak risklidir. Betiği önce curl -fsSL https://ollama.com/install.sh -o install.sh ile indirip okuyabilirsiniz.

3. İlk modeli çalıştırın

ollama run llama3.2

Model ilk çalıştırmada indirilir ve bir sohbet açılır. Modelleri listelemek için ollama list, GPU kullanımını izlemek için ayrı bir terminalde watch -n 1 nvidia-smi kullanın; model çalışırken VRAM kullanımının arttığını görürsünüz.

4. API ile kullanma

Ollama, varsayılan olarak yalnızca 127.0.0.1:11434 adresinde dinler:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Bulut sunucu nedir? İki cümleyle anlat.",
  "stream": false
}'

5. Güvenli erişim

Ollama’nın API’sinde kimlik doğrulama yoktur; portu internete açmayın. Kendi bilgisayarınızdan kullanmak için SSH tüneli yeterlidir:

ssh -L 11434:127.0.0.1:11434 kullanici@SUNUCU_IP

Ardından uygulamanızda adres olarak http://localhost:11434 kullanın. Birden çok kişiyle paylaşacaksanız WireGuard arkasında çalıştırın ya da kimlik doğrulayan bir ters proxy ekleyin (bkz. Caddy).

Docker ile çalıştırma (isteğe bağlı)

Docker kullanıyorsanız GPU erişimi için NVIDIA Container Toolkit gerekir; kurulumdan sonra:

docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

Performans ve bakım ipuçları

• Modelin tamamı VRAM’e sığmazsa kısmen CPU’ya taşar ve yavaşlar; daha küçük ya da daha çok nicemlenmiş bir model seçin.
• Kullanılmayan modelleri ollama rm MODEL ile silin; modeller disk yer.
• Sunucuyu güvenlik kontrol listesine göre sıkılaştırın.
• Riskli sürücü ya da sistem güncellemelerinden önce snapshot alın.

Melinhost ile başlayın

GPU’lu sunucu paketlerimizi inceleyin; ihtiyacınıza uygun bellek ve performansı seçin. Sorularınız için destek ekibimiz yanınızda.