Chat GPT Alternatifi Llama-2 İçin Arayüz

💿 Yazılım 💎 Yapay Zeka
1

Merhabalar, bu gönderide hobi projesi olarak geliştirdiğim Llama-2’nin herhangi bir sürümünü cihazınızda çalıştırmanızı sağlayan arayüz yazılımının kurulumunu anlatıcağım ve tanıtımını yapacağım.

ChatGPT kadar hızlı değil fakat metninizi yazdıktan sonra işinizi görürken gönderilen bildirim ile cevaptan haberdar olabilir ayrıca verilerinizin isteğinizin dışında işlenmesini engelleyebilirsiniz.

İsterseniz Github sayfası üzerinden pullrequest atarak yardımcı olabilirsiniz, dilerseniz başlayalım.

Tanıtım

127.0.0.1:5000 adresine tercih ettiğiniz web tarayıcınızile bağlanarak kullanabilirsiniz. Arayüz daha geliştirilmeli, her gün üniversite derslerimden kalan boş vakit ile geliştirmeye çalışıyorum.

image
image1920×928 41.3 KB

image
image1920×930 54.5 KB

Şimdilik yazılan cevapları kopyalayamıyorsunuz fakat onu da ilerideki güncellemelerde çözücem.

Bilinen problemler:

  • Yeni sohbet ekledikçe arayüzdeki yazı giriş kısmında kayma oluşuyor
  • Verilen cevaplar kopyalanamıyor

Projeyi geliştirmem için geri dönüşleriniz önemli, lütfen bana ulaşın ve sorununuzu belirtin.

Kurulum

Windows Kurulumu

Release 1.0.0 · MertKalkanci/Chat-Assisant-Cross-Platform (github.com)

  1. Üstteki adres üzerinden Windows 1.0 olan zip dosyasını indiriyoruz.

  2. huggingface.com üzerinden istediğimiz bir .gguf formatında kaydedilmiş olan Llama-2 sürümünü indiriyoruz. Bu nokta önemli çünkü Meta’nın kendi safetensor dosyalarını indirirseniz llama.cpp desteklemediğinden çalıştıramazszınız bu sebeple .gguf olan sürümleri indiriyoruz.

Eğer işlemcinize güveniyorsanız ve yeriniz var ise 13 Milyar parametre ile eğitilmiş şu sürümü indirebilirsiniz fakat ben daha seri olmasını istediğimden 7 Milyar parametreyle eğitilmiş olan bu sürümü kullanıyorum.

Daha fazla seçenek isterseniz Models Search: Llama .gguf - Hugging Face adresini ziyaret edebilirsiniz.

Linkteki dosyalardan en küçük olanı indirebilirsiniz, herhangi birini seçmeniz yeterli olacaktır.

GPU ile kullanmak istiyorsanız llama.cpp yi manuel olarak kurmalısınız ve bu gayet uzun bir süreçç bunun için şu adrese göz atın: ggerganov/llama.cpp: Port of Facebook’s LLaMA model in C/C++ (github.com)

  1. İndirdiğiniz yapay zeka modelini Proje klasörlerinden llama.cpp/models klasörüne taşıyın.

  2. config.json dosyanızı model dosyanızın proje içindeki göreceli konumuna göre düzenleyin.

  3. (Opsiyonel) setup.bat dosyasını çalıştırarak ffmpeg kurulumunu yapın ve mikrofon özelliğini dilediğiniz gibi kullanın.

  4. (Opsiyonel) baseprompt.txt dosyasını ihtiyacınıza göre düzenleyin.

  5. run.bat dosyasını çalıştırıp keyfinize bakın !

Linux Kurulumu

Linux kurulumunda kodun bir kısmını derlemeniz gerekecek ama emin olun çok daha sağlıklı bir kurulumunuz olucak.

Release 1.0.0 · MertKalkanci/Chat-Assisant-Cross-Platform (github.com)

  1. Üstteki adresten stabil sürümün veya Bu linkten en güncel sürümün kaynak kodunu indirin.

  2. Aşağıdaki komutları proje klasörüne gelip çalıştırın

git clone https://github.com/ggerganov/llama.cpp  
cd llama.cpp
make

Bu işlem ile llama.cpp kütüphanesini derlemiş olacaksınız.

  1. huggingface.com üzerinden istediğimiz bir .gguf formatında kaydedilmiş olan Llama-2 sürümünü indiriyoruz. Bu nokta önemli çünkü Meta’nın kendi safetensor dosyalarını indirirseniz llama.cpp desteklemediğinden çalıştıramazszınız bu sebeple .gguf olan sürümleri indiriyoruz.

Eğer işlemcinize güveniyorsanız ve yeriniz var ise 13 Milyar parametre ile eğitilmiş şu sürümü indirebilirsiniz fakat ben daha seri olmasını istediğimden 7 Milyar parametreyle eğitilmiş olan bu sürümü kullanıyorum.

Daha fazla seçenek isterseniz Models Search: Llama .gguf - Hugging Face adresini ziyaret edebilirsiniz.

Linkteki dosyalardan en küçük olanı indirebilirsiniz, herhangi birini seçmeniz yeterli olacaktır.

  1. İndirdiğiniz yapay zeka modelini Proje klasörlerinden llama.cpp/models klasörüne taşıyın.

  2. config.json dosyanızı model dosyanızın proje içindeki göreceli konumuna göre düzenleyin.

  3. Aşağıdaki komutları çalıştırın

python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
deactivate
  1. (Opsiyonel) Ffmpeg indirip mikrofon özelliklerini kullanabilirisniz, ffmpeg kurulumu için debian/ubuntu tabanlı sistemlerde:
sudo apt install ffmpeg

  1. (Opsiyonel) baseprompt.txt dosyasını ihtiyacınıza göre düzenleyin.

  2. Artık kullanmaya hazırsınız, sanal ortamı aşağıdaki kod ile aktive edip istediğiniz gibi kullanabilirsiniz.

source venv/bin/activate
python3 code/main.py

(Linux mevcut sistemimde inik değil eğer konsol komutları yanlış ise lütfen doğrusunu yorumlarda belirtin)

Projeyi geliştirmem için geri dönüşleriniz önemli, lütfen bana ulaşın ve sorununuzu belirtin, ister forum üzerinden mesaj atabilir ister gönderiye cevap olarak yazabilir isterseniz de Github üzerinden issue açabilirsiniz.

Umarım beğenmişsinizdir, okuduğunuz için teşekkürler.

4 Likes
2

Github’da yeniyim de, kuramadım her şeyi. Yardımcı olabilecek var mı?

3

huggingface.co yazmanız gerekirken, huggingface.com yazmışsınız.

1 Like