Ekran kartsız sunucu için Ollama modeli önerisi (VPS)

💿 Yazılım 💎 Yapay Zeka
, , ,
1

Sistem özellikleri:

  • 4 GB RAM
  • Intel Xeon E5-2697 işlemci
  • 35 GB depolama alanı
  • OpenWebUI ile kullanılacaktır.

Bu konuda yardımlarınızı bekliyorum.

Son düzenleyen: @wise 2024-12-07T07:47:39Z

2
  1. GPT-2 (Hugging Face versiyonu):
  • Açıklama: OpenAI’nin GPT-2 modeli, daha küçük boyutlu ve CPU üzerinde çalışması için optimize edilmiş bir modeldir. GPT-2’nin farklı boyutları (117M, 124M parametre gibi) mevcut olup, düşük kaynakla çalışabilir. Bu modelin daha küçük sürümleri, VPS’lerde ekran kartı kullanmadan oldukça verimli olabilir.
  • Özellikler: Düşük bellek kullanımı, CPU üzerinde hızlı işlem.
  1. DistilGPT-2:
  • Açıklama: GPT-2’nin distil edilmiş versiyonudur ve orijinal modele kıyasla çok daha küçük ve hızlıdır. CPU üzerinde çalıştırmak için uygun olup, düşük donanım gereksinimleri sunar.
  • Özellikler: Daha az bellek ve işlem gücü gereksinimi.
  1. ALBERT (A Lite BERT):
  • Açıklama: ALBERT, BERT modelinin daha küçük ve verimli bir versiyonudur. Bu model, metin işleme ve anlamlandırma görevleri için uygundur. ALBERT, büyük dil modellerine kıyasla daha düşük hesaplama gücü gerektirir ve CPU üzerinde daha verimli çalışabilir.
  • Özellikler: Daha az parametre, düşük bellek tüketimi.
  1. T5 (Text-to-Text Transfer Transformer):
  • Açıklama: T5, metin tabanlı görevleri çözmek için çok yönlü bir modeldir. T5’in küçük versiyonları (örneğin T5-Base veya T5-Small) CPU tabanlı VPS’lerde rahatlıkla çalıştırılabilir.
  • Özellikler: Çoklu NLP görevleri için uygundur, esneklik sağlar.
  1. BART (Bidirectional and Auto-Regressive Transformers):
  • Açıklama: BART, metin oluşturma, metin tamamlama ve diğer dil işleme görevleri için kullanılan bir modeldir. Küçük sürümleri CPU üzerinde çalıştırmak için yeterince verimlidir.
  • Özellikler: Çeşitli dil işleme görevlerine uygundur ve optimize edilmiş versiyonları CPU üzerinde çalışabilir.

Ram olarak 8gb yada 16gb olması daha sağlıklı olur.
Alıntıdır; Chatgpt

1 Like
3

hocam 4 gb ram var bir tık kasılıyo Gemma 2b modeli

4

Reddit’te, 4Gb ram için Mistral 7B modeli önerilmiş, ayrıca bir sayfada çok yavaş olduğu yazılmış;

6

bunun resimli versiyonu var mı

6GB ram ve 4 Çekirdek li CPU atattım