Update tokenizer_config.json
Browse files- tokenizer_config.json +1 -1
    	
        tokenizer_config.json
    CHANGED
    
    | @@ -937,7 +937,7 @@ | |
| 937 | 
             
                "input_ids",
         | 
| 938 | 
             
                "attention_mask"
         | 
| 939 | 
             
              ],
         | 
| 940 | 
            -
              "model_max_length":  | 
| 941 | 
             
              "pad_token": "[PAD]",
         | 
| 942 | 
             
              "sep_token": "[SEP]",
         | 
| 943 | 
             
              "tokenizer_class": "PreTrainedTokenizerFast",
         | 
|  | |
| 937 | 
             
                "input_ids",
         | 
| 938 | 
             
                "attention_mask"
         | 
| 939 | 
             
              ],
         | 
| 940 | 
            +
              "model_max_length": 8192,
         | 
| 941 | 
             
              "pad_token": "[PAD]",
         | 
| 942 | 
             
              "sep_token": "[SEP]",
         | 
| 943 | 
             
              "tokenizer_class": "PreTrainedTokenizerFast",
         | 

