Upload folder using huggingface_hub

danskgpt-chat/main.py

@@ -0,0 +1,65 @@
+import gradio as gr
+import requests
+import json
+import random
+def http_bot(prompt, history, system_prompt, endpoint_url):
+    # Initialize the formatted_chat string with the system prompt
+    formatted_chat = f"{system_prompt}\n"
+    
+    # Append previous history if available
+    if history:
+        for user_text, assistant_text in history:
+            formatted_chat += f"USER: {user_text}\nASSISTANT: {assistant_text}\n"
+
+    # Add the current prompt and assistant placeholder
+    formatted_chat += f"USER: {prompt}\nASSISTANT: "
+    print(formatted_chat)
+
+    headers = {"User-Agent": "vLLM Client"}
+    pload = {
+        "prompt": formatted_chat,
+        "stream": True,
+        "max_tokens": 3000,
+    }
+    
+
+    response = requests.post(endpoint_url,
+                             headers=headers,
+                             json=pload,
+                             stream=True)
+ 
+    for chunk in response.iter_lines(chunk_size=8192,
+                                     decode_unicode=False,
+                                     delimiter=b"\0"):
+        if chunk:
+            data = json.loads(chunk.decode("utf-8"))
+            output = data["text"][0]
+        
+            yield output[len(prompt):]
+
+
+
+
+with gr.Blocks(theme=gr.themes.Soft(), title="DanskGPT") as demo:
+    gr.Markdown("# DanskGPT v0.3 - offline. Hvis du vil have en demo, så kontakt mig. Kontaktinformation nederst.")
+    gr.Markdown("Et dansk alternativ til ChatGPT der kører lokalt.")
+    system_prompt = gr.Textbox(value="Du er en dansk AI-assistent. Du vil blive givet en opgave. Du skal hjælpe så meget du kan.",
+                                label="System besked")
+    endpoint_url = gr.Textbox(label="Endpoint url", value="https://h6lsu4k84eqhh4-8000.proxy.runpod.net/generate", render=False)
+
+
+    gr.ChatInterface(
+        http_bot,
+        additional_inputs=[system_prompt, endpoint_url],
+        clear_btn=None,
+        undo_btn=None,
+        retry_btn=None,
+        submit_btn="Send",
+        
+    )
+
+    gr.Markdown("Version 0.3 - instruktionsmodel trænet på data op til 31-06-2023.")
+    gr.Markdown("Lavet af Mads Henrichsen - Kontakt: [email protected]")
+    gr.Markdown("Bemærk: DanskGPT producerer ikke nødvendigvis sandfærdig information - der er en ny model på vej der er meget bedre til dette.")
+
+demo.queue(concurrency_count=100).launch()