lm studio

gradio ile hızlı bi web arayüzü oluşturabiliyoruz:
görsel

import gradio as gr
import requests
import time

class LMStudioGradioGUI:
def __init__(self):
# API'nin temel URL'sini tanımlıyoruz.
self.api_temel_url = "http://192.168.1.102:1234/v1";

def check_models(self):
try:
# API'ye GET isteği gönderiyoruz.
yanit = requests.get(f"{self.api_temel_url}/models")
# Eğer istek başarısız olursa, hata fırlatır.
yanit.raise_for_status()
# Yanıtı JSON formatında döndürüyoruz.
return yanit.json()
except requests.RequestException as hata:
# Eğer bir hata oluşursa, hata mesajını döndürüyoruz.
return {"hata": str(hata)}

def send_message(self, kullanici_girdisi):
# Kullanıcı girdisi boşsa, uyarı mesajı döndür.
if not kullanici_girdisi:
return "Lütfen bir mesaj girin."

try:
# Başlangıç zamanını kaydediyoruz.
baslangic_zamani = time.time()

# API'ye POST isteği gönderiyoruz.
yanit = requests.post(
f"{self.api_temel_url}/chat/completions",
headers={"Content-Type": "application/json"},
json={
"model": "codestral-22b-v0.1",
"messages": [{"role": "user", "content": kullanici_girdisi}],
"max_tokens": 100,
"temperature": 0.7
}
)
# Eğer istek başarısız olursa, hata fırlatır.
yanit.raise_for_status()

# Bitiş zamanını kaydediyoruz.
bitis_zamani = time.time()

# Yanıtı JSON formatında alıyoruz.
veri = yanit.json()

# Token sayısını alıyoruz.
kullanilan_tokenlar = veri.get("usage", {}).get("total_tokens", 0)

# Geçen süreyi hesaplıyoruz.
gecen_sure = bitis_zamani - baslangic_zamani

# Saniye başına token ve çıkarım hızı değerlerini hesaplıyoruz.
saniye_basina_token = kullanilan_tokenlar / gecen_sure if gecen_sure > 0 else 0
cikarim_hizi = gecen_sure / kullanilan_tokenlar if kullanilan_tokenlar > 0 else 0

# Eğer yanıt başarılıysa, AI'nin mesajını ve hesaplanan metrikleri döndürüyoruz.
if veri.get("choices") and veri["choices"][0].get("message"):
mesaj = veri["choices"][0]["message"]["content"]
return f"{mesaj}\n\nSaniye başına token: {saniye_basina_token:.2f}\nÇıkarım hızı: {cikarim_hizi:.4f} saniye/token"
else:
return "Yanıt alınamadı."
except requests.RequestException as hata:
# Eğer bir hata oluşursa, hata mesajını döndürüyoruz.
return f"Mesaj gönderilemedi: {hata}"

# LMStudioGradioGUI sınıfından bir örnek oluşturuyoruz.
uygulama = LMStudioGradioGUI()

# Gradio arayüzünü oluşturuyoruz.
with gr.Blocks() as demo:
gr.Markdown("# LM Studio AI Sohbet Arayüzü")

with gr.Tab("Sohbet"):
metin_girdisi = gr.Textbox(label="Mesajınızı girin")
metin_ciktisi = gr.Textbox(label="AI Yanıtı")
gonder_btn = gr.Button("Mesaj Gönder")
gonder_btn.click(uygulama.send_message, inputs=metin_girdisi, outputs=metin_ciktisi)

with gr.Tab("Modeller"):
modeller_ciktisi = gr.JSON(label="Mevcut Modeller")
modeller_btn = gr.Button("Mevcut Modelleri Kontrol Et")
modeller_btn.click(uygulama.check_models, outputs=modeller_ciktisi)

# Gradio uygulamasını başlatıyoruz.
demo.launch()