LLM AI-Sweden-Models/gpt-sw3-1.3B

app.py

@@ -17,7 +17,11 @@ EMB_MODEL      = "KBLab/sentence-bert-swedish-cased"
 #LLM_MODEL      = "bigscience/bloom-560m" # Dålig
 #LLM_MODEL      = "NbAiLab/nb-gpt-j-6B" #- Restricted 
 #LLM_MODEL      = "datificate/gpt2-small-swedish" # Finns ej på Hugging face
-LLM_MODEL      =  "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
+#LLM_MODEL      =  "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
+# timpal0l/mdeberta-v3-base-squad2 liten och möjlig på Svenska
+LLM_MODEL      = "AI-Sweden-Models/gpt-sw3-1.3B" # finns olika varianter 126M, 356M, 1.3B, 6.7B, 20B, 40B
+# LLM_MODEL = AI-Sweden-Models/Llama-3-8B-instruct # kanske för stor
+# https://www.ai.se/en/ai-labs/natural-language-understanding/models-resources
 
 CHUNK_SIZE     = 400
 CHUNK_OVERLAP  = 40
@@ -142,7 +146,7 @@ def chat_fn(q, temp, max_new_tokens, k, ctx_tok_max, history):
             future = executor.submit(generate)
             ans = future.result(timeout=GEN_TIMEOUT)  # Timeout in seconds
     except concurrent.futures.TimeoutError:
-        ans = "⏰ Ingen respons från modellen inom {GEN_TIMEOUT} sekunder."
+        ans = f"⏰ Ingen respons från modellen inom {GEN_TIMEOUT} sekunder."
     except Exception as e:
         log.exception("Genererings‑fel")
         ans = f"❌ Fel vid generering: {type(e).__name__}: {e}\n\nPrompt:\n{prompt}"