Change tokenizer v1.3

core/interviewer.py

@@ -6,16 +6,10 @@ Generates random MBTI-style questions using a fine-tuned model.
 🇷🇺 Модуль интервьюера.
 Использует fine-tuned модель для генерации вопросов без промптов и инструкций.
 """
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import AutoModelForSeq2SeqLM, T5Tokenizer
 
 QG_MODEL = "f3nsmart/ft-flan-t5-base-qgen"
 
-# ✅ Используем fast-tokenizer — он уже есть в модели
-tokenizer = AutoTokenizer.from_pretrained(QG_MODEL, use_fast=True)
-model = AutoModelForSeq2SeqLM.from_pretrained(QG_MODEL)
-
-
-# ❗ Используем "slow" SentencePiece токенайзер
 tokenizer = T5Tokenizer.from_pretrained(QG_MODEL, use_fast=False)
 model = AutoModelForSeq2SeqLM.from_pretrained(QG_MODEL)