finetuning internlm with P1 prompt

.gitattributes

@@ -43,3 +43,4 @@ results/mac-results_lf.csv filter=lfs diff=lfs merge=lfs -text
 datasets/mgtv/dev_en.csv filter=lfs diff=lfs merge=lfs -text
 datasets/mgtv/train_en.csv filter=lfs diff=lfs merge=lfs -text
 datasets/mgtv/unique_translations.csv filter=lfs diff=lfs merge=lfs -text
+llama-factory/data/alpaca_mgtv_p1.json filter=lfs diff=lfs merge=lfs -text

llama-factory/config/internlm2_5_7b_lora_sft.yaml

@@ -0,0 +1,47 @@
+### model
+model_name_or_path: internlm/internlm2_5-7b-chat-1m
+
+### method
+stage: sft
+do_train: true
+finetuning_type: lora
+lora_target: all
+quantization_bit: 4                     # use 4-bit QLoRA
+loraplus_lr_ratio: 16.0                 # use LoRA+ with lambda=16.0
+# use_unsloth: true                       # use UnslothAI's LoRA optimization for 2x faster training
+upcast_layernorm: true
+
+### dataset
+dataset: alpaca_mgtv_p1
+template: chatml
+cutoff_len: 1024
+max_samples: 50
+overwrite_cache: true
+preprocessing_num_workers: 16
+
+### output
+output_dir: saves/internlm2_5_7b/lora/sft
+logging_steps: 10
+save_steps: 10
+plot_loss: true
+overwrite_output_dir: true
+# resume_from_checkpoint: true
+
+### train
+per_device_train_batch_size: 1
+gradient_accumulation_steps: 8
+learning_rate: 1.0e-4
+num_train_epochs: 6.0
+lr_scheduler_type: cosine
+warmup_ratio: 0.1
+bf16: true
+ddp_timeout: 180000000
+
+### eval
+val_size: 0.02
+per_device_eval_batch_size: 1
+eval_strategy: steps
+eval_steps: 10
+
+report_to: wandb
+run_name: internlm2_5_7b # optional

llama-factory/data/alpaca_mgtv_p1.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:26ede462ba9a0ea4bb41030128ec65bb6dd65539fed1e5a943011f8e1770bc8f
+size 74376969

llama-factory/data/dataset_info.json

@@ -1,4 +1,7 @@
 {
+  "alpaca_mgtv_p1": {
+    "file_name": "alpaca_mgtv_p1.json"
+  },
   "alpaca_mac": {
     "file_name": "alpaca_mac.json"
   },

llm_toolkit/logical_reasoning_utils.py

@@ -9,6 +9,44 @@ from tqdm import tqdm
 
 print(f"loading {__file__}")
 
+P1 = """你是一个逻辑游戏的主持人。游戏规则如下：
+
+1. 参与者会得到一个谜题。
+2. 参与者可以通过提问来获取线索，尝试解开谜题。
+3. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。
+4. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
+5. 参与者需要根据回答来推理，并最终找出谜题的正确答案。
+
+请严格按照这些规则回答参与者提出的问题。
+
+谜题: {}
+
+实际情况: {}
+
+参与者提出的问题: {}
+"""
+
+P2 = """你是一个情景猜谜游戏的主持人。游戏规则如下：
+
+1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
+2. 主持人知道谜底，谜底是谜面的答案。
+3. 参与者可以询问任何封闭式问题来找寻事件的真相。
+4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
+   - 若谜面和谜底能找到问题的答案，回答：是或者不是
+   - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
+   - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
+   - 若参与者提问基本还原了谜底真相，回答：回答正确
+5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
+
+请严格按照这些规则回答参与者提出的问题。
+
+**谜面:** {}
+
+**谜底:** {}
+
+**参与者提出的问题:** {}
+"""
+
 
 def calc_metrics(references, predictions, debug=False):
     assert len(references) == len(
@@ -48,7 +86,9 @@ def save_results(model_name, results_path, dataset, predictions, debug=False):
     df.to_csv(results_path, index=False)
 
 
-def load_logical_reasoning_dataset(data_path, tokenizer=None, chinese_prompt=True):
+def load_logical_reasoning_dataset(
+    data_path, using_p1=True, tokenizer=None, chinese_prompt=True
+):
     postfix = "" if chinese_prompt else "_en"
     train_data_file = data_path + f"/train{postfix}.csv"
     test_data_file = data_path + f"/dev{postfix}.csv"
@@ -60,43 +100,8 @@ def load_logical_reasoning_dataset(data_path, tokenizer=None, chinese_prompt=Tru
     )
 
     if tokenizer:
-        xreasoning_prompt = """你是一个情景猜谜游戏的主持人。游戏规则如下：
-
-1. 参与者会得到一个谜面，谜面会描述一个简单又难以理解的事件。
-2. 主持人知道谜底，谜底是谜面的答案。
-3. 参与者可以询问任何封闭式问题来找寻事件的真相。
-4. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。各回答的判断标准如下：
-   - 若谜面和谜底能找到问题的答案，回答：是或者不是
-   - 若谜面和谜底不能直接或者间接推断出问题的答案，回答：不重要
-   - 若参与者提问不是一个封闭式问题或者问题难以理解，回答：问法错误
-   - 若参与者提问基本还原了谜底真相，回答：回答正确
-5. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
-
-请严格按照这些规则回答参与者提出的问题。
-
-**谜面:** {}
-
-**谜底:** {}
-
-**参与者提出的问题:** {}
-"""
         reasoning_prompt = (
-            """你是一个逻辑游戏的主持人。游戏规则如下：
-
-1. 参与者会得到一个谜题。
-2. 参与者可以通过提问来获取线索，尝试解开谜题。
-3. 对于每个问题，主持人将根据实际情况回答以下五个选项之一：是、不是、不重要、回答正确、问法错误。
-4. 回答中不能添加任何其它信息，也不能省略选项中的任何一个字。例如，不可以把“不是”省略成“不”。
-5. 参与者需要根据回答来推理，并最终找出谜题的正确答案。
-
-请严格按照这些规则回答参与者提出的问题。
-
-谜题: {}
-
-实际情况: {}
-
-参与者提出的问题: {}
-"""
+            (P1 if using_p1 else P2)
             if chinese_prompt
             else """You are the host of a situational guessing game. The rules of the game are as follows: