Update app.py

app.py

@@ -6,6 +6,8 @@ import subprocess
 import spaces
 import cumo.serve.gradio_web_server as gws
 
+from transformers import AutoProcessor, LlavaMistralForCausalLM
+
 import datetime
 import json
 
@@ -40,12 +42,28 @@ disable_btn = gr.Button(interactive=False)
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 model_path = 'BenkHel/CumoThesis'
-model_base = 'mistralai/Mistral-7B-Instruct-v0.2'
-model_name = 'CumoThesis'
-conv_mode = 'mistral_instruct_system'
+conv_mode = 'mistral_instruct_system' # Diese Variable wird noch für die Konversationstemplates benötigt
 load_8bit = False
 load_4bit = False
-tokenizer, model, image_processor, context_len = load_pretrained_model(model_path, model_base, model_name, load_8bit, load_4bit, device=device, use_flash_attn=False)
+
+# Laden Sie den Prozessor, der Tokenizer und Bildprozessor kombiniert
+processor = AutoProcessor.from_pretrained(model_path)
+
+# Laden Sie das Modell mit der korrekten Klasse
+model = LlavaMistralForCausalLM.from_pretrained(
+    model_path,
+    torch_dtype=torch.bfloat16, # Ihre config.json spezifiziert bfloat16
+    low_cpu_mem_usage=True,     # Empfohlen für große Modelle
+    load_in_4bit=load_4bit,
+    load_in_8bit=load_8bit,
+)
+
+# Weisen Sie die Komponenten den alten Variablennamen zu, damit der restliche Code funktioniert
+tokenizer = processor.tokenizer
+image_processor = processor.image_processor
+
+# Setzen Sie die Kontextlänge (falls der restliche Code sie benötigt)
+context_len = model.config.max_position_embeddings
 model.config.training = False
              
 def upvote_last_response(state):