Update train_tokenizer.py

train_tokenizer.py

@@ -1,10 +1,13 @@
 # -*- coding: utf-8 -*-
 from tokenizers import Tokenizer, decoders, models, normalizers, pre_tokenizers, trainers
+import os
 
-def train_tokenizer(iterator, vocab_size=50000, min_frequency=3):
+def train_tokenizer(iterator, vocab_size=50000, min_frequency=3, output_dir="tokenizer_model"):
     """
-    Εκπαιδεύει έναν Tokenizer τύπου BPE πάνω σε δεδομένα που παρέχονται από τον iterator.
+    Εκπαιδεύει έναν Tokenizer τύπου BPE και αποθηκεύει το αποτέλεσμα.
     """
+    print("🔄 Ξεκινάει η εκπαίδευση του tokenizer...")
+
     # Δημιουργία του Tokenizer με μοντέλο BPE και ορισμό token για άγνωστα
     tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))
     
@@ -18,14 +21,26 @@ def train_tokenizer(iterator, vocab_size=50000, min_frequency=3):
         pre_tokenizers.Digits(individual_digits=True)
     ])
     
-    # Ορισμός ειδικών tokens (π.χ. για ιστορικά κείμενα)
+    # Ορισμός ειδικών tokens
     trainer = trainers.BpeTrainer(
         vocab_size=vocab_size,
         min_frequency=min_frequency,
         special_tokens=["<|endoftext|>", "<pad>", "<unk>", "<mask>", "[CITATION]"],
         continuing_subword_prefix=""
     )
-    
+
+    # Εκπαίδευση του tokenizer
     tokenizer.train_from_iterator(iterator, trainer=trainer)
     tokenizer.decoder = decoders.ByteLevel()
+
+    # Δημιουργία φακέλου αποθήκευσης αν δεν υπάρχει
+    if not os.path.exists(output_dir):
+        os.makedirs(output_dir)
+
+    # Αποθήκευση του tokenizer
+    tokenizer.save(os.path.join(output_dir, "tokenizer.json"))
+    tokenizer.model.save(output_dir)  # Αποθηκεύει vocab.json και merges.txt
+
+    print(f"✅ Ο tokenizer αποθηκεύτηκε στον φάκελο '{output_dir}'!")
+
     return tokenizer