Update app.py

app.py

@@ -1,8 +1,8 @@
 # -*- coding: utf-8 -*-
 import os
 import gradio as gr
-import requests
 import time
+import datetime
 from io import BytesIO
 import matplotlib.pyplot as plt
 from datasets import load_dataset
@@ -17,11 +17,15 @@ DetectorFactory.seed = 0
 CHECKPOINT_FILE = "checkpoint.txt"
 TOKENIZER_DIR = "tokenizer_model"
 TOKENIZER_FILE = os.path.join(TOKENIZER_DIR, "tokenizer.json")
-MAX_SAMPLES = 50000000  # Όριο δειγμάτων
+MAX_SAMPLES = 3000000  # Όριο δειγμάτων
 
 # Παγκόσμια μεταβλητή ελέγχου συλλογής
 STOP_COLLECTION = False
 
+# ===== ΕΜΦΑΝΙΣΗ LOG ΕΚΚΙΝΗΣΗΣ =====
+startup_time = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+print(f"\n===== Application Startup at {startup_time} =====\n")
+
 
 def load_checkpoint():
     """Φόρτωση δεδομένων από το checkpoint αν υπάρχει."""
@@ -52,79 +56,59 @@ def create_iterator(dataset_name, configs, split):
             print(f"⚠️ Σφάλμα φόρτωσης dataset για config {config}: {e}")
 
 
-def analyze_checkpoint(num_samples=1000):
-    """Αναλύει τα πρώτα num_samples δείγματα από το checkpoint και επιστρέφει το ποσοστό γλωσσών."""
-    if not os.path.exists(CHECKPOINT_FILE):
-        return "Το αρχείο checkpoint δεν υπάρχει."
-    
-    with open(CHECKPOINT_FILE, "r", encoding="utf-8") as f:
-        lines = f.read().splitlines()
-    
-    sample_lines = lines[:num_samples] if len(lines) >= num_samples else lines
-    
-    language_counts = {}
-    total = 0
-    for line in sample_lines:
-        try:
-            lang = detect(line)
-            language_counts[lang] = language_counts.get(lang, 0) + 1
-            total += 1
-        except Exception:
-            continue
-    
-    if total == 0:
-        return "Δεν βρέθηκαν έγκυρα δείγματα για ανάλυση."
-    
-    report = "📊 Αποτελέσματα Ανάλυσης:\n"
-    for lang, count in language_counts.items():
-        report += f"  - {lang}: {count / total * 100:.2f}%\n"
-    
-    return report
-
-
 def collect_samples(dataset_name, configs, split, chunk_size):
     """
     Ξεκινά τη συλλογή δειγμάτων από το dataset μέχρι να φτάσει το MAX_SAMPLES
     ή μέχρι να ζητηθεί διακοπή (STOP_COLLECTION).
     """
     global STOP_COLLECTION
-    STOP_COLLECTION = False  # Βεβαιωνόμαστε ότι η συλλογή ξεκινάει κανονικά
+    STOP_COLLECTION = False
     total_processed = len(load_checkpoint())
-    progress_messages = [f"📌 Ξεκινά η συλλογή... Υπάρχουν ήδη {total_processed} δείγματα στο checkpoint."]
     
+    # LOG: Ξεκίνησε η διαδικασία συλλογής
+    print(f"🚀 Ξεκινά η συλλογή δεδομένων... Υπάρχουν ήδη {total_processed} δείγματα στο checkpoint.")
+    
+    progress_messages = [f"📌 Ξεκινά η συλλογή... Υπάρχουν ήδη {total_processed} δείγματα στο checkpoint."]
     dataset_iterator = create_iterator(dataset_name, configs, split)
     new_texts = []
     
     for text in dataset_iterator:
         if STOP_COLLECTION:
             progress_messages.append("⏹️ Η συλλογή σταμάτησε από το χρήστη.")
+            print("⏹️ Η συλλογή σταμάτησε από το χρήστη.")
             break
 
         new_texts.append(text)
         total_processed += 1
-        
+
         if len(new_texts) >= chunk_size:
             append_to_checkpoint(new_texts)
             progress_messages.append(f"✅ Αποθηκεύτηκαν {total_processed} δείγματα στο checkpoint.")
+            print(f"✅ Αποθηκεύτηκαν {total_processed} δείγματα στο checkpoint.")
             new_texts = []
 
         if total_processed >= MAX_SAMPLES:
             progress_messages.append("⚠️ Έφτασε το όριο δειγμάτων.")
+            print("⚠️ Έφτασε το όριο δειγμάτων.")
             break
 
     if new_texts:
         append_to_checkpoint(new_texts)
         progress_messages.append(f"✅ Τελικό batch αποθηκεύτηκε ({total_processed} δείγματα).")
-    
+        print(f"✅ Τελικό batch αποθηκεύτηκε ({total_processed} δείγματα).")
+
     return "\n".join(progress_messages)
 
 
 def train_tokenizer_fn(dataset_name, configs, split, vocab_size, min_freq, test_text):
     """Εκπαιδεύει τον tokenizer χρησιμοποιώντας τα δεδομένα του checkpoint."""
-    print("🚀 Ξεκινά η εκπαίδευση...")
+    print("\n🚀 Ξεκινά η διαδικασία εκπαίδευσης...")
     all_texts = load_checkpoint()
     tokenizer = train_tokenizer(all_texts, vocab_size, min_freq, TOKENIZER_DIR)
 
+    # LOG: Τέλος εκπαίδευσης
+    print(f"✅ Εκπαίδευση ολοκληρώθηκε! Το tokenizer αποθηκεύτηκε στο {TOKENIZER_DIR}.")
+
     # Φόρτωση εκπαιδευμένου tokenizer
     trained_tokenizer = Tokenizer.from_file(TOKENIZER_FILE)
     
@@ -151,6 +135,7 @@ def stop_collection():
     """Σταματά τη συλλογή δειγμάτων."""
     global STOP_COLLECTION
     STOP_COLLECTION = True
+    print("⏹️ Η συλλογή σταμάτησε από το χρήστη.")
     return "⏹️ Η συλλογή σταμάτησε από το χρήστη."
 
 
@@ -160,6 +145,7 @@ def restart_collection():
     STOP_COLLECTION = False
     if os.path.exists(CHECKPOINT_FILE):
         os.remove(CHECKPOINT_FILE)
+    print("🔄 Το checkpoint διαγράφηκε. Έτοιμο για νέα συλλογή.")
     return "🔄 Το checkpoint διαγράφηκε. Μπορείς να ξεκινήσεις νέα συλλογή."
 
 
@@ -179,7 +165,6 @@ with gr.Blocks() as demo:
             start_btn = gr.Button("Start Collection")
             stop_btn = gr.Button("Stop Collection")
             restart_btn = gr.Button("Restart Collection")
-            analyze_btn = gr.Button("Analyze Samples")
             train_btn = gr.Button("Train Tokenizer")
 
         progress = gr.Textbox(label="Progress", interactive=False, lines=10)
@@ -189,8 +174,8 @@ with gr.Blocks() as demo:
     start_btn.click(collect_samples, [dataset_name, configs, split, chunk_size], progress)
     stop_btn.click(stop_collection, [], progress)
     restart_btn.click(restart_collection, [], progress)
-    analyze_btn.click(analyze_checkpoint, [], progress)
     train_btn.click(train_tokenizer_fn, [dataset_name, configs, split, vocab_size, min_freq, test_text], 
                     [progress, decoded_text, token_distribution])
 
+print("\nGradio Interface is launching...")
 demo.launch()