Update app.py

app.py

@@ -2,7 +2,9 @@ import gradio as gr
 from huggingface_hub import InferenceClient
 
 # 使用可能なモデルのリスト
-models = ["Sakalti/Saba1.5-Pro", "Sakalti/light-3b-beta", "Sakalti/Neptuno-Alpha", "Sakalti/SakaRP-1-1.5B", "Sakalti/Lunar-Bfloat16-4B", "Sakalti/Saka-3.8B", "Sakalti/Lunar-4B", "Qwen/QwQ-32B-Preview", "Sakalti/SJT-2B-V1.1"]
+models = ["Sakalti/Saba1.5-Pro", "Sakalti/light-3b-beta", "Sakalti/Neptuno-Alpha", 
+          "Sakalti/SakaRP-1-1.5B", "Sakalti/Lunar-Bfloat16-4B", "Sakalti/Saka-3.8B", 
+          "Sakalti/Lunar-4B", "Qwen/QwQ-32B-Preview", "Sakalti/SJT-2B-V1.1"]
 
 # システムメッセージのテンプレート
 system_message_templates = {
@@ -10,6 +12,9 @@ system_message_templates = {
     "架空のキャラ　アオイ": "あなたの名前はアオイ。常識的な考えを持っている。語尾は「だぜ」",
 }
 
+# Hugging Faceのアクセストークン（Hugging Faceの設定から取得してください）
+HF_TOKEN = os.environ("HF_TOKEN")
+
 def update_system_message(selected_template):
     return system_message_templates.get(selected_template, "あなたはフレンドリーなチャットボットです。")
 
@@ -22,22 +27,18 @@ def respond(
     top_p,
     selected_model
 ):
-    # 型変換: selected_modelを文字列に変換
     selected_model = str(selected_model)
     
-    # 選択したモデルに基づいてInferenceClientを初期化
-    client = InferenceClient(selected_model)
+    # トークンを設定してInferenceClientを初期化
+    client = InferenceClient(selected_model, token=HF_TOKEN)
 
     messages = []
 
-    # SJT-2.5Bの場合は、systemメッセージを最初のユーザーのメッセージに埋め込む
     if selected_model == "Sakalti/SJT-2.5B":
         if not history:
             message = f"{system_message}\n{message}"
         else:
             messages.append({"role": "user", "content": system_message})
-    
-    # 通常のsystemメッセージとして送信
     else:
         messages.append({"role": "system", "content": system_message})
 
@@ -95,7 +96,7 @@ with gr.Blocks(theme='Nymbo/Alyx_theme') as demo:
             ),
             gr.Dropdown(choices=models, value=models[0], label="モデル"),
         ],
-        concurrency_limit=30  # 例: 同時に30つのリクエストを処理
+        concurrency_limit=30  
     )
 
 if __name__ == "__main__":