Update app.py

app.py

@@ -5,7 +5,7 @@ from threading import Thread
 import os
 
 # Cargar el token de Hugging Face desde los secretos
-token = os.environ["HF_TOKEN"]
+token = os.environ.get("HF_TOKEN")
 
 # Configurar la cuantización con bitsandbytes para reducir el uso de memoria
 bnb_config = BitsAndBytesConfig(
@@ -15,9 +15,12 @@ bnb_config = BitsAndBytesConfig(
     bnb_4bit_compute_dtype=torch.bfloat16
 )
 
-# Cargar el modelo cuantizado y el tokenizer
+# Cargar el modelo cuantizado y forzar el uso de un tokenizador compatible
 model_id = "PrunaAI/google-shieldgemma-2b-bnb-4bit-smashed"
-tokenizer = AutoTokenizer.from_pretrained(model_id, token=token)
+tokenizer_id = "google/shieldgemma-2b"  # Usar el tokenizador del modelo base
+tokenizer = AutoTokenizer.from_pretrained(tokenizer_id, token=token)
+
+# Cargar el modelo cuantizado
 model = AutoModelForCausalLM.from_pretrained(
     model_id,
     torch_dtype=torch.bfloat16,