Update app.py

app.py

@@ -63,19 +63,23 @@ def enhanced_validation(tokenizer, test_text):
         "token_length_distribution": img_buffer.getvalue()
     }
 
+# ... (προηγούμενο imports και functions παραμένουν ίδια)
+
 def train_and_test(files, dataset_name, split, vocab_size, min_freq, test_text):
-    """
-    Συνδυάζει τη διαδικασία εκπαίδευσης του tokenizer και την επικύρωση του με ένα δοκιμαστικό κείμενο.
-    """
-    # Επιβεβαίωση εισόδων: πρέπει να παρέχεται είτε αρχείο είτε όνομα dataset
     if not files and not dataset_name:
         raise gr.Error("Πρέπει να παρέχετε αρχεία ή όνομα dataset!")
     
-    # Δημιουργία iterator (με streaming για αποδοτική ανάγνωση)
-    iterator = create_iterator(files, dataset_name, split)
-    
     try:
-        tokenizer = train_tokenizer(iterator, vocab_size, min_freq)
+        # Δημιουργία iterator με fallback
+        iterator = create_iterator(files, dataset_name, split)
+        
+        # Προσθήκη progress bar
+        with gr.Progress() as progress:
+            progress(0.1, desc="Προεπεξεργασία δεδομένων...")
+            tokenizer = train_tokenizer(iterator, vocab_size, min_freq)
+            
+        # ... (υπόλοιπη λειτουργία παραμένει ίδια)
+        
     except Exception as e:
         raise gr.Error(f"Σφάλμα εκπαίδευσης: {str(e)}")