Change tokenizer v1.2

core/interviewer.py

@@ -6,15 +6,15 @@ Generates random MBTI-style questions using a fine-tuned model.
 🇷🇺 Модуль интервьюера.
 Использует fine-tuned модель для генерации вопросов без промптов и инструкций.
 """
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
 
-import random, torch, re
-from transformers import AutoModelForSeq2SeqLM, T5Tokenizer
-
-# --------------------------------------------------------------
-# 1️⃣ Настройки модели
-# --------------------------------------------------------------
 QG_MODEL = "f3nsmart/ft-flan-t5-base-qgen"
 
+# ✅ Используем fast-tokenizer — он уже есть в модели
+tokenizer = AutoTokenizer.from_pretrained(QG_MODEL, use_fast=True)
+model = AutoModelForSeq2SeqLM.from_pretrained(QG_MODEL)
+
+
 # ❗ Используем "slow" SentencePiece токенайзер
 tokenizer = T5Tokenizer.from_pretrained(QG_MODEL, use_fast=False)
 model = AutoModelForSeq2SeqLM.from_pretrained(QG_MODEL)