Update app.py

app.py

@@ -1,24 +1,36 @@
 import gradio as gr
 import torch
-from transformers import pipeline
+from transformers import pipeline, AutoTokenizer, AutoModelForSeq2SeqLM
 import re
 
-# Global variable to store the model
-pipe = None
+# Global variables to store the models
+atlas_pipe = None
+transliteration_tokenizer = None
+transliteration_model = None
 
-def load_model():
-    """Load the Atlas-Chat model"""
-    global pipe
-    if pipe is None:
+def load_models():
+    """Load both Atlas-Chat and Transliteration models"""
+    global atlas_pipe, transliteration_tokenizer, transliteration_model
+    
+    # Load Atlas-Chat model
+    if atlas_pipe is None:
         print("🏔️ Loading Atlas-Chat-2B model...")
-        pipe = pipeline(
+        atlas_pipe = pipeline(
             "text-generation",
             model="MBZUAI-Paris/Atlas-Chat-2B",
             model_kwargs={"torch_dtype": torch.bfloat16},
             device="cuda" if torch.cuda.is_available() else "cpu"
         )
-        print("✅ Model loaded successfully!")
-    return pipe
+        print("✅ Atlas-Chat model loaded!")
+    
+    # Load Transliteration model
+    if transliteration_tokenizer is None or transliteration_model is None:
+        print("🔄 Loading Transliteration model...")
+        transliteration_tokenizer = AutoTokenizer.from_pretrained("atlasia/Transliteration-Moroccan-Darija")
+        transliteration_model = AutoModelForSeq2SeqLM.from_pretrained("atlasia/Transliteration-Moroccan-Darija")
+        print("✅ Transliteration model loaded!")
+    
+    return atlas_pipe, transliteration_tokenizer, transliteration_model
 
 def detect_arabizi(text):
     """
@@ -60,7 +72,8 @@ def detect_arabizi(text):
         'salam', 'salamu aleikum', 'slm',
         'yallah', 'yalla', 'hya', 'aji',
         'mabghitsh', 'mabghach', 'makansh', 'machi',
-        'walakin', 'walaken', 'ama', 'mais'
+        'walakin', 'walaken', 'ama', 'mais',
+        'kayn', 'makaynsh', 'chi', 'tayi'
     ]
     
     text_lower = text.lower()
@@ -76,246 +89,68 @@ def detect_arabizi(text):
     
     return False
 
-def arabizi_to_arabic(text):
+def arabizi_to_arabic_ai(arabizi_text):
     """
-    Convert Arabizi text to Arabic script
-    COMPLETE HARD-CODED MAPPINGS
+    Convert Arabizi text to Arabic using the specialized AI model
     """
-    if not text:
-        return text
-    
-    # COMPREHENSIVE WORD MAPPINGS (Arabizi → Arabic)
-    word_mappings = {
-        # Pronouns
-        'ana': 'أنا', 'nta': 'نتا', 'nti': 'نتي', 'howa': 'هوا', 'hiya': 'هيا',
-        'hoa': 'هوا', 'hia': 'هيا', 'hna': 'حنا', 'ahna': 'أحنا', 
-        'ntuma': 'نتوما', 'ntouma': 'نتوما', 'huma': 'هوما', 'houma': 'هوما',
-        
-        # Question words  
-        'shkoun': 'شكون', 'chkoun': 'شكون', 'skoun': 'شكون',
-        'achno': 'أشنو', 'chno': 'شنو', 'shno': 'شنو', 'ach': 'أش',
-        'wach': 'واش', 'wash': 'واش', 'ouach': 'واش',
-        'kifash': 'كيفاش', 'kif': 'كيف', 'ki': 'كي', 'kayf': 'كيف',
-        'feen': 'فين', 'fin': 'فين', 'fen': 'فين', 'fain': 'فين', 'mnin': 'منين',
-        'imta': 'إمتا', 'meta': 'متا', 'mata': 'متا', 'emta': 'إمتا',
-        '3lach': 'علاش', 'alach': 'علاش', '3la ach': 'علاش',
-        
-        # Common verbs
-        'bghit': 'بغيت', 'bghiti': 'بغيتي', 'bgha': 'بغا', 'bghina': 'بغينا',
-        'kan': 'كان', 'kana': 'كانا', 'kanet': 'كانت', 'kanu': 'كانو',
-        'galt': 'قلت', 'galti': 'قلتي', 'gal': 'قال', 'galet': 'قالت',
-        'galou': 'قالو', 'galina': 'قلنا',
-        'rah': 'راح', 'raha': 'راها', 'rahi': 'راهي', 'rahom': 'راهم',
-        'ghadi': 'غادي', 'ghad': 'غاد', 'gha': 'غا', 'ghadia': 'غادية',
-        'dir': 'دير', 'dert': 'درت', 'derat': 'درات', 'derna': 'درنا',
-        'ja': 'جا', 'jat': 'جات', 'jina': 'جينا', 'jaou': 'جاو',
-        'mcha': 'مشا', 'mchat': 'مشات', 'mchina': 'مشينا', 'mchaou': 'مشاو',
-        'khrj': 'خرج', 'khrja': 'خرجا', 'khrjat': 'خرجات', 'khrjna': 'خرجنا',
-        'dkhl': 'دخل', 'dkhla': 'دخلا', 'dkhlat': 'دخلات', 'dkhlna': 'دخلنا',
-        
-        # Demonstratives
-        'had': 'هاد', 'hada': 'هادا', 'hadi': 'هادي', 'hadou': 'هادو',
-        'hadouk': 'هادوك', 'hadchi': 'هادشي', 'hadak': 'هاداك',
-        'dak': 'داك', 'dik': 'ديك', 'dok': 'دوك', 'dakchi': 'داكشي',
-        
-        # Prepositions
-        'fi': 'في', 'f': 'ف', 'men': 'من', 'mn': 'من', 'l': 'ل', 'li': 'لي',
-        'bla': 'بلا', 'b': 'ب', 'bi': 'بي', 'bih': 'بيه', 'biha': 'بيها',
-        'mea': 'معا', 'maak': 'معاك', 'maaki': 'معاكي', 'maana': 'معانا',
-        'maahom': 'معاهم', 'maaha': 'معاها',
-        
-        # Numbers
-        'wahed': 'واحد', 'joj': 'جوج', 'tlata': 'تلاتا', 'rebaa': 'ربعا',
-        'khamsa': 'خ��سا', 'setta': 'ستا', 'sebaa': 'سبعا', 'tmanya': 'تمنيا',
-        'tesaa': 'تسعا', 'ashra': 'عشرا',
-        
-        # Time expressions
-        'daba': 'دابا', 'tawa': 'توا', 'ghda': 'غدا', 'lbareeh': 'البارح',
-        'nhar': 'نهار', 'lila': 'ليلا', 'sbah': 'صباح', 'aachia': 'عشيا',
-        
-        # Family
-        'mama': 'ماما', 'baba': 'بابا', 'khoya': 'خويا', 'khti': 'ختي',
-        'khuya': 'خويا', 'khtiya': 'ختيا', 'akhi': 'أخي', 'ukhti': 'أختي',
-        'jad': 'جد', 'jada': 'جدا', 'amo': 'عمو', 'ama': 'عما',
-        'khal': 'خال', 'khala': 'خالا',
-        
-        # Adjectives
-        'zwin': 'زوين', 'zwina': 'زوينا', 'qbih': 'قبيح', 'qbiha': 'قبيحا',
-        'kbir': 'كبير', 'kbira': 'كبيرا', 'sghir': 'صغير', 'sghira': 'صغيرا',
-        'tqil': 'تقيل', 'tqila': 'تقيلا', 'khfif': 'خفيف', 'khfifa': 'خفيفا',
-        'sahel': 'ساهل', 'sahla': 'ساهلا', 'saab': 'صعب', 'saba': 'صعبا',
-        
-        # Quantities
-        'bzf': 'بزاف', 'bzzaf': 'بزاف', 'bezzaf': 'بزاف', 'ktir': 'كتير',
-        'chway': 'شوياة', 'chwiya': 'شوياة', 'shwiya': 'شوياة', 'chwia': 'شوياة',
-        'kolchi': 'كولشي', 'kol': 'كول', 'ga': 'غاع', 'gaa': 'غاع',
-        'hta': 'حتا', 'walo': 'والو', 'walou': 'والو',
-        
-        # Negations
-        'ma': 'ما', 'machi': 'ماشي', 'mabghitsh': 'مابغيتش', 'makainch': 'ماكاينش',
-        'makansh': 'ماكانش', 'maghatch': 'ماغاتش', 'mabaghish': 'مابغيش',
+    try:
+        _, tokenizer, model = load_models()
         
-        # Conjunctions
-        'walakin': 'والاكين', 'walaken': 'والاكين', 'mais': 'ولكن',
-        'ama': 'أما', 'ida': 'إذا', 'ila': 'إلا', 'hta': 'حتا',
-        'ou': 'أو', 'o': 'أو', 'aw': 'أو', 'wla': 'ولا',
+        # Tokenize the input text
+        input_tokens = tokenizer(arabizi_text, return_tensors="pt", padding=True, truncation=True, max_length=512)
         
-        # Expressions
-        'salam': 'سلام', 'yallah': 'يالاه', 'yalla': 'يالا', 'hya': 'هيا',
-        'aji': 'أجي', 'sir': 'سير', 'siri': 'سيري', 'ajou': 'أجو',
-        'mabrook': 'مبروك', 'baraka': 'باركا', 'besaha': 'بصحا',
-        'allah': 'الله', 'rabi': 'ربي', 'llah': 'الله',
-        'inchallah': 'إن شاء الله', 'machallah': 'ما شاء الله',
-        'hamdulillah': 'الحمد لله', 'alhamdulillah': 'الحمد لله',
-        'la hawla': 'لا حول', 'astghfirullah': 'أستغفر الله',
+        # Perform transliteration
+        with torch.no_grad():
+            output_tokens = model.generate(
+                **input_tokens,
+                max_length=512,
+                num_beams=4,
+                early_stopping=True,
+                no_repeat_ngram_size=2
+            )
         
-        # Countries and places
-        'lmaghrib': 'المغرب', 'maghrib': 'مغرب', 'casa': 'كازا',
-        'rbat': 'الرباط', 'fas': 'فاس', 'mknas': 'مكناس',
-        'tanja': 'طنجا', 'agadir': 'أكادير', 'marrakech': 'مراكش',
+        # Decode the output tokens
+        arabic_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
         
-        # Common nouns
-        'dar': 'دار', 'bit': 'بيت', 'tomo': 'طوموبيل', 'karhouba': 'كرهوبا',
-        'makla': 'ماكلا', 'atay': 'أتاي', 'khobz': 'خوبز', 'lma': 'الما',
-        'tajin': 'طاجين', 'tajine': 'طاجين', 'couscous': 'كوسكوس',
-        'msemen': 'مسمن', 'rghaif': 'رغايف', 'harira': 'حريرا',
-        'khodra': 'خضرا', 'fawakeh': 'فواكه', 'lahem': 'لحم',
-        'djaj': 'دجاج', 'hout': 'حوت', 'lben': 'اللبن',
-        'skar': 'سكر', 'melh': 'ملح', 'zit': 'زيت', 'zebda': 'زبدا',
+        return arabic_text.strip()
         
-        # Verbs (additional)
-        'chreb': 'شرب', 'chrba': 'شربا', 'chrebat': 'شربات', 'chrebna': 'شربنا',
-        'kla': 'كلا', 'klat': 'كلات', 'klina': 'كلينا', 'klaw': 'كلاو',
-        'nees': 'نعس', 'neesat': 'نعسات', 'neesna': 'نعسنا', 'neasou': 'نعسو',
-        'faq': 'فاق', 'faqat': 'فاقات', 'faqna': 'فقنا', 'faqou': 'فاقو',
-        'tlab': 'طلب', 'tlbat': 'طلبات', 'tlabna': 'طلبنا', 'tlabou': 'طلبو',
-        'khdam': 'خدم', 'khdmat': 'خدمات', 'khdamna': 'خدمنا', 'khdamou': 'خدمو',
-        'qra': 'قرا', 'qrat': 'قرات', 'qrina': 'قرينا', 'qraw': 'قراو',
-        'kteb': 'كتب', 'ktbat': 'كتبات', 'ktebna': 'كتبنا', 'ktbou': 'كتبو',
-        'chaf': 'شاف', 'chafat': 'شافات', 'chfna': 'شفنا', 'chafou': 'شافو',
-        'sma': 'سمع', 'smat': 'سمعات', 'smana': 'سمعنا', 'smaou': 'سمعو'
-    }
-    
-    # CHARACTER MAPPINGS (Arabizi numbers/letters → Arabic)
-    char_mappings = {
-        '2': 'ء', '3': 'ع', '5': 'خ', '6': 'ط', '7': 'ح', '8': 'غ', '9': 'ق',
-        'a': 'ا', 'b': 'ب', 't': 'ت', 'th': 'ث', 'j': 'ج', 'd': 'د',
-        'r': 'ر', 'z': 'ز', 's': 'س', 'sh': 'ش', 'f': 'ف', 'k': 'ك',
-        'l': 'ل', 'm': 'م', 'n': 'ن', 'h': 'ه', 'w': 'و', 'y': 'ي',
-        'aa': 'آ', 'ee': 'ي', 'oo': 'و', 'ou': 'و', 'ai': 'ي', 'ay': 'ي'
-    }
-    
-    # DIGRAPH MAPPINGS (two-letter combinations first)
-    digraph_mappings = {
-        'kh': 'خ', 'gh': 'غ', 'ch': 'ش', 'th': 'ث', 'dh': 'ذ', 
-        'sh': 'ش', 'ts': 'ص', 'dz': 'ض', 'ss': 'ص', 'tt': 'ط',
-        'zz': 'ظ', 'aa': 'آ', 'ee': 'ي', 'ii': 'ي', 'oo': 'و', 
-        'uu': 'و', 'ou': 'و', 'ai': 'ي', 'ay': 'ي', 'ey': 'ي'
-    }
-    
-    # Convert text
-    result = text.lower()
-    
-    # Step 1: Apply word mappings (most specific first)
-    for arabizi_word, arabic_word in word_mappings.items():
-        # Use word boundaries to avoid partial matches
-        pattern = r'\b' + re.escape(arabizi_word) + r'\b'
-        result = re.sub(pattern, arabic_word, result, flags=re.IGNORECASE)
-    
-    # Step 2: Apply digraph mappings
-    for digraph, arabic_char in digraph_mappings.items():
-        result = result.replace(digraph, arabic_char)
-    
-    # Step 3: Apply single character mappings
-    for char, arabic_char in char_mappings.items():
-        if len(char) == 1:  # Only single chars in this step
-            result = result.replace(char, arabic_char)
-    
-    return result
+    except Exception as e:
+        print(f"❌ Error in Arabizi→Arabic conversion: {e}")
+        # Fallback to original text if conversion fails
+        return arabizi_text
 
-def arabic_to_arabizi(text):
+def arabic_to_arabizi(arabic_text):
     """
-    Convert Arabic script to Arabizi
-    COMPLETE HARD-CODED MAPPINGS
+    Convert Arabic script to Arabizi using character mappings
+    (Keeping this as backup since no reverse model available)
     """
-    if not text:
-        return text
+    if not arabic_text:
+        return arabic_text
     
     # COMPREHENSIVE WORD MAPPINGS (Arabic → Arabizi)
     word_mappings = {
-        # Pronouns
+        # Common words first (most likely to appear)
         'أنا': 'ana', 'نتا': 'nta', 'نتي': 'nti', 'هوا': 'howa', 'هيا': 'hiya',
         'حنا': 'hna', 'أحنا': 'ahna', 'نتوما': 'ntuma', 'هوما': 'huma',
-        
-        # Question words
-        'شكون': 'shkoun', 'أشنو': 'achno', 'شنو': 'chno', 'أش': 'ach',
-        'واش': 'wach', 'كيفاش': 'kifash', 'كيف': 'kif', 'فين': 'feen',
-        'منين': 'mnin', 'إمتا': 'imta', 'متا': 'meta', 'علاش': '3lach',
-        
-        # Common verbs
+        'شكون': 'shkoun', 'أشنو': 'achno', 'شنو': 'chno', 'واش': 'wach',
+        'كيفاش': 'kifash', 'كيف': 'kif', 'فين': 'feen', 'منين': 'mnin',
+        'إمتا': 'imta', 'متا': 'meta', 'علاش': '3lach', 'أش': 'ach',
         'بغيت': 'bghit', 'بغيتي': 'bghiti', 'بغا': 'bgha', 'بغينا': 'bghina',
         'كان': 'kan', 'كانا': 'kana', 'كانت': 'kanet', 'كانو': 'kanu',
         'قلت': 'galt', 'قلتي': 'galti', 'قال': 'gal', 'قالت': 'galet',
-        'قالو': 'galou', 'قلنا': 'galina',
         'راح': 'rah', 'راها': 'raha', 'راهي': 'rahi', 'راهم': 'rahom',
-        'غادي': 'ghadi', 'غاد': 'ghad', 'غا': 'gha', 'غادية': 'ghadia',
-        'دير': 'dir', 'درت': 'dert', 'درات': 'derat', 'درنا': 'derna',
-        'جا': 'ja', 'جات': 'jat', 'جينا': 'jina', 'جاو': 'jaou',
-        'مشا': 'mcha', 'مشات': 'mchat', 'مشينا': 'mchina', 'مشاو': 'mchaou',
-        
-        # Demonstratives
-        'هاد': 'had', 'هادا': 'hada', 'هادي': 'hadi', 'هادو': 'hadou',
-        'هادوك': 'hadouk', 'هادشي': 'hadchi', 'هاداك': 'hadak',
-        'داك': 'dak', 'ديك': 'dik', 'دوك': 'dok', 'داكشي': 'dakchi',
-        
-        # Numbers
-        'واحد': 'wahed', 'جوج': 'joj', 'تلاتا': 'tlata', 'ربعا': 'rebaa',
-        'خمسا': 'khamsa', 'ستا': 'setta', 'سبعا': 'sebaa', 'تمنيا': 'tmanya',
-        'تسعا': 'tesaa', 'عشرا': 'ashra',
-        
-        # Time
-        'دابا': 'daba', 'توا': 'tawa', 'غدا': 'ghda', 'البارح': 'lbareeh',
-        'نهار': 'nhar', 'ليلا': 'lila', 'صباح': 'sbah', 'عشيا': 'aachia',
-        
-        # Family
+        'غادي': 'ghadi', 'غاد': 'ghad', 'غا': 'gha',
+        'هاد': 'had', 'هادا': 'hada', 'هادي': 'hadi', 'هادشي': 'hadchi',
+        'داك': 'dak', 'ديك': 'dik', 'داكشي': 'dakchi',
+        'بزاف': 'bzzaf', 'شوياة': 'chwiya', 'كولشي': 'kolchi',
+        'ماشي': 'machi', 'مابغيتش': 'mabghitsh', 'ماكاينش': 'makainch',
+        'دابا': 'daba', 'توا': 'tawa', 'غدا': 'ghda',
         'ماما': 'mama', 'بابا': 'baba', 'خويا': 'khoya', 'ختي': 'khti',
-        'ختيا': 'khtiya', 'أخي': 'akhi', 'أختي': 'ukhti',
-        'جد': 'jad', 'جدا': 'jada', 'عمو': 'amo', 'عما': 'ama',
-        
-        # Adjectives
-        'زوين': 'zwin', 'زوينا': 'zwina', 'قبيح': 'qbih', 'قبيحا': 'qbiha',
-        'كبير': 'kbir', 'كبيرا': 'kbira', 'صغير': 'sghir', 'صغيرا': 'sghira',
-        'تقيل': 'tqil', 'تقيلا': 'tqila', 'خفيف': 'khfif', 'خفيفا': 'khfifa',
-        
-        # Quantities
-        'بزاف': 'bzzaf', 'كتير': 'ktir', 'شوياة': 'chwiya', 'كولشي': 'kolchi',
-        'كول': 'kol', 'غاع': 'gaa', 'حتا': 'hta', 'والو': 'walo',
-        
-        # Negations
-        'ما': 'ma', 'ماشي': 'machi', 'مابغيتش': 'mabghitsh', 'ماكاينش': 'makainch',
-        'ماكانش': 'makansh', 'ماغاتش': 'maghatch', 'مابغيش': 'mabaghish',
-        
-        # Expressions
-        'سلام': 'salam', 'يالاه': 'yallah', 'يالا': 'yalla', 'هيا': 'hya',
-        'أجي': 'aji', 'سير': 'sir', 'سيري': 'siri', 'أجو': 'ajou',
-        'مبروك': 'mabrook', 'باركا': 'baraka', 'بصحا': 'besaha',
-        'الله': 'allah', 'ربي': 'rabi', 'إن شاء الله': 'inchallah',
-        'ما شاء الله': 'machallah', 'الحمد لله': 'hamdulillah',
-        
-        # Places
-        'المغرب': 'lmaghrib', 'مغرب': 'maghrib', 'كازا': 'casa',
-        'الرباط': 'rbat', 'فاس': 'fas', 'مكناس': 'mknas',
-        'طنجا': 'tanja', 'أكادير': 'agadir', 'مراكش': 'marrakech',
-        
-        # Food and drinks
-        'طاجين': 'tajine', 'كوسكوس': 'couscous', 'مسمن': 'msemen',
-        'رغايف': 'rghaif', 'حريرا': 'harira', 'أتاي': 'atay',
-        'خوبز': 'khobz', 'الما': 'lma', 'لحم': 'lahem', 'دجاج': 'djaj',
-        
-        # Common nouns
-        'دار': 'dar', 'بيت': 'bit', 'طوموبيل': 'tomo', 'كرهوبا': 'karhouba',
-        'ماكلا': 'makla', 'خضرا': 'khodra', 'فواكه': 'fawakeh',
-        'حوت': 'hout', 'اللبن': 'lben', 'سكر': 'skar', 'ملح': 'melh'
+        'سلام': 'salam', 'يالاه': 'yallah', 'هيا': 'hya',
+        'المغرب': 'lmaghrib', 'مغرب': 'maghrib',
+        'طاجين': 'tajine', 'أتاي': 'atay', 'خوبز': 'khobz',
+        'كاين': 'kayn', 'ماكاينش': 'makaynsh', 'شي': 'chi',
+        'زوين': 'zwin', 'زوينا': 'zwina', 'مزيان': 'mzyan', 'مزيانا': 'mzyana'
     }
     
     # CHARACTER MAPPINGS (Arabic → Arabizi)
@@ -325,42 +160,42 @@ def arabic_to_arabizi(text):
         'ش': 'sh', 'ص': 's', 'ض': 'd', 'ط': '6', 'ظ': 'z', 'ع': '3',
         'غ': 'gh', 'ف': 'f', 'ق': '9', 'ك': 'k', 'ل': 'l', 'م': 'm',
         'ن': 'n', 'ه': 'h', 'و': 'w', 'ي': 'y', 'ء': '2',
-        'آ': 'aa', 'أ': 'a', 'إ': 'i', 'ئ': '2', 'ؤ': 'w2', 'ة': 'a',
-        'ى': 'a', 'ً': 'an', 'ٌ': 'on', 'ٍ': 'in', 'َ': 'a', 'ُ': 'o', 'ِ': 'i'
+        'آ': 'aa', 'أ': 'a', 'إ': 'i', 'ة': 'a', 'ى': 'a',
+        '؟': '?', '،': ',', '؛': ';', '：': ':', '！': '!',
+        'َ': 'a', 'ُ': 'o', 'ِ': 'i', 'ً': 'an', 'ٌ': 'on', 'ٍ': 'in'
     }
     
-    # Convert text
-    result = text
+    result = arabic_text
     
-    # Step 1: Apply word mappings (most specific first)
+    # Step 1: Apply word mappings
     for arabic_word, arabizi_word in word_mappings.items():
         # Use word boundaries to avoid partial matches
-        pattern = r'\b' + re.escape(arabic_word) + r'\b'
-        result = re.sub(pattern, arabizi_word, result)
+        result = re.sub(r'\b' + re.escape(arabic_word) + r'\b', arabizi_word, result)
     
     # Step 2: Apply character mappings
     for arabic_char, arabizi_char in char_mappings.items():
         result = result.replace(arabic_char, arabizi_char)
     
-    return result
+    return result.strip()
 
 def chat_with_atlas(message, history):
-    """Generate response from Atlas-Chat model with Arabizi conversion"""
+    """Generate response from Atlas-Chat model with AI-powered Arabizi conversion"""
     if not message.strip():
-        return "مرحبا! أهلا وسهلا. Please enter a message! / Ahlan wa sahlan!"
+        return "ahlan wa sahlan! kifash n9der n3awnek? / مرحبا! كيفاش نقدر نعاونك؟"
     
     try:
-        # Load model if not already loaded
-        model = load_model()
+        # Load models
+        atlas_model, _, _ = load_models()
         
         # Detect if input is Arabizi
         is_arabizi_input = detect_arabizi(message)
         
         # Prepare input for the model
         if is_arabizi_input:
-            # Convert Arabizi to Arabic for the model
-            arabic_input = arabizi_to_arabic(message)
-            print(f"🔄 Converted Arabizi '{message}' → Arabic '{arabic_input}'")
+            # Convert Arabizi to Arabic using AI model
+            print(f"🔄 Converting Arabizi: '{message}'")
+            arabic_input = arabizi_to_arabic_ai(message)
+            print(f"✅ Converted to Arabic: '{arabic_input}'")
             model_input = arabic_input
         else:
             # Use original input (Arabic or English)
@@ -369,27 +204,29 @@ def chat_with_atlas(message, history):
         # Generate response using Arabic input
         messages = [{"role": "user", "content": model_input}]
         
-        outputs = model(
+        outputs = atlas_model(
             messages, 
             max_new_tokens=256, 
             temperature=0.1,
             do_sample=True,
-            pad_token_id=model.tokenizer.eos_token_id
+            pad_token_id=atlas_model.tokenizer.eos_token_id
         )
         
         # Extract the response
         response = outputs[0]["generated_text"][-1]["content"].strip()
+        print(f"🤖 Atlas response: '{response}'")
         
         # Convert response back to Arabizi if input was Arabizi
         if is_arabizi_input:
             arabizi_response = arabic_to_arabizi(response)
-            print(f"🔄 Converted response '{response}' → Arabizi '{arabizi_response}'")
+            print(f"🔄 Converted to Arabizi: '{arabizi_response}'")
             return arabizi_response
         else:
             # Return original response for Arabic/English
             return response
         
     except Exception as e:
+        print(f"❌ Error in chat: {e}")
         # Return error in appropriate language
         if detect_arabizi(message):
             return f"sorry, kan chi mochkil: {str(e)}. 3awd jar'b!"
@@ -399,16 +236,19 @@ def chat_with_atlas(message, history):
 # Create the Gradio interface
 demo = gr.ChatInterface(
     fn=chat_with_atlas,
-    title="🏔️ Atlas-Chat: Moroccan Arabic AI Assistant",
+    title="🏔️ Atlas-Chat: Advanced Moroccan Arabic AI",
     description="""
-    **مرحبا بك في أطلس شات!** Welcome to Atlas-Chat! 🇲🇦
+    **مرحبا بك في أطلس شات المطور!** Welcome to Advanced Atlas-Chat! 🇲🇦
     
-    **🧠 Smart Language Detection & Conversion:**
+    **🧠 AI-Powered Language Detection & Conversion:**
     - **Arabic Script (العربية)** → AI responds in Arabic
-    - **Arabizi (3arabi bi 7oruf latin)** → AI responds in Arabizi  
+    - **Arabizi (3arabi bi 7oruf latin)** → AI-powered conversion → Arabizi response  
     - **English** → AI responds in English
     
-    **✨ Full Arabizi Support:** Type "shkoun nta?" and get "ana atlas-chat..."
+    **⚡ NEW: Professional Arabizi Conversion**
+    - Uses specialized AI model trained on Moroccan Darija
+    - Perfect understanding of context: "kayn chi" → "كاين شي"
+    - Handles complex phrases accurately
     
     **جرب هذه الأسئلة / Try these questions:**
     """,
@@ -420,13 +260,14 @@ demo = gr.ChatInterface(
         "شنو كيتسمى المنتخب المغربي؟",
         "chno kaytsma lmontakhab lmaghribi?",
         "What is Morocco famous for?",
-        "Tell me about Casablanca",
         "كيفاش نقدر نتعلم الدارجة؟",
         "kifash n9der nt3elem darija?",
         "wach kayn atay f lmaghrib?",
         "3lach lmaghrib zwien bzzaf?",
         "kifash nsali tajine?",
-        "chno homa l2aklat lmaghribiya?"
+        "chno homa l2aklat lmaghribiya?",
+        "kayn chi restaurants zwinin f casa?",
+        "mr7ba! kif dayr?"
     ],
     cache_examples=False
 )