update natuki model

app.py

@@ -109,9 +109,44 @@ def infer(text, sdp_ratio, noise_scale, noise_scale_w, length_scale, sid, langua
         del x_tst, tones, lang_ids, bert, x_tst_lengths, speakers
         torch.cuda.empty_cache()
         return audio
+    
+def infer_2(text, sdp_ratio, noise_scale, noise_scale_w, length_scale, sid, language):
+    global net_g_2
+    bert, ja_bert, phones, tones, lang_ids = get_text(text, language, hps)
+    with torch.no_grad():
+        x_tst = phones.to(device).unsqueeze(0)
+        tones = tones.to(device).unsqueeze(0)
+        lang_ids = lang_ids.to(device).unsqueeze(0)
+        bert = bert.to(device).unsqueeze(0)
+        ja_bert = ja_bert.to(device).unsqueeze(0)
+        x_tst_lengths = torch.LongTensor([phones.size(0)]).to(device)
+        #print(x_tst.type(), tones.type(), lang_ids.type(), bert.type(), ja_bert.type(), x_tst_lengths.type())
+        del phones
+        speakers = torch.LongTensor([hps.data.spk2id[sid]]).to(device)
+        audio = (
+            net_g_2.infer(
+                x_tst,
+                x_tst_lengths,
+                speakers,
+                tones,
+                lang_ids,
+                bert,
+                ja_bert,
+                sdp_ratio=sdp_ratio,
+                noise_scale=noise_scale,
+                noise_scale_w=noise_scale_w,
+                length_scale=length_scale,
+            )[0][0, 0]
+            .data.cpu()
+            .float()
+            .numpy()
+        )
+        del x_tst, tones, lang_ids, bert, x_tst_lengths, speakers
+        torch.cuda.empty_cache()
+        return audio
 
 __LOG__ = "./generation_logs.txt"
-def tts_fn(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, language):
+def tts_fn(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, language,from_model=0):
     # 清空 ./infer_save 文件夹
     if os.path.exists('./infer_save'):
         shutil.rmtree('./infer_save')
@@ -124,7 +159,10 @@ def tts_fn(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, l
         with open(__LOG__,"a",encoding="UTF-8") as f:
             for slice in slices:
                 assert len(slice) < 150 # 限制输入的文本长度
-                audio = infer(slice, sdp_ratio=sdp_ratio, noise_scale=noise_scale, noise_scale_w=noise_scale_w, length_scale=length_scale, sid=speaker, language=language)
+                if from_model == 0:
+                    audio = infer(slice, sdp_ratio=sdp_ratio, noise_scale=noise_scale, noise_scale_w=noise_scale_w, length_scale=length_scale, sid=speaker, language=language)
+                else:
+                    audio = infer_2(slice, sdp_ratio=sdp_ratio, noise_scale=noise_scale, noise_scale_w=noise_scale_w, length_scale=length_scale, sid=speaker, language=language)
                 audio_list.append(audio)
                 
                 # 创建唯一的文件名
@@ -142,12 +180,13 @@ def tts_fn(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, l
 
     audio_concat = np.concatenate(audio_list)
     return "Success", (hps.data.sampling_rate, audio_concat)
-
+def tts_fn_2(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, language,from_model=1):
+    return  tts_fn(text, speaker, sdp_ratio, noise_scale, noise_scale_w, length_scale, language,from_model)
 
 if __name__ == "__main__":
     parser = argparse.ArgumentParser()
     parser.add_argument(
-        "-m", "--model", default="./logs/umamusume/G_300500.pth", help="path of your model"
+        "-m", "--model", default="./logs/natuki/G_72000.pth", help="path of your model"
     )
     parser.add_argument(
         "-c",
@@ -166,7 +205,8 @@ if __name__ == "__main__":
     if args.debug:
         logger.info("Enable DEBUG-LEVEL log")
         logging.basicConfig(level=logging.DEBUG)
-    hps = utils.get_hparams_from_file(args.config)
+    hps = utils.get_hparams_from_file("./logs/umamusume/config.json")
+    hps_2 = utils.get_hparams_from_file("./logs/natuki/config.json")
 
     device = (
         "cuda:0"
@@ -185,61 +225,120 @@ if __name__ == "__main__":
         **hps.model,
     ).to(device)
     _ = net_g.eval()
-    # _ = net_g.half()
-    # _ = net_g.to(dtype=torch.bfloat16)
 
-    _ = utils.load_checkpoint(args.model, net_g, None, skip_optimizer=True)
+    net_g_2 = SynthesizerTrn(
+        len(symbols),
+        hps.data.filter_length // 2 + 1,
+        hps.train.segment_size // hps.data.hop_length,
+        n_speakers=hps.data.n_speakers,
+        **hps.model,
+    ).to(device)
+
+    _ = utils.load_checkpoint("./logs/umamusume/G_300500.pth", net_g, None, skip_optimizer=True)
+    _ = utils.load_checkpoint("./logs/natuki/G_72000.pth", net_g_2, None, skip_optimizer=True)
 
     speaker_ids = hps.data.spk2id
     speakers = list(speaker_ids.keys())
+    speaker_ids_2 = hps_2.data.spk2id
+    speakers_2 = list(speaker_ids.keys())
+
+
     languages = ["ZH", "JP"]
     with gr.Blocks() as app:
-        with gr.Row():
-            with gr.Column():
-                text = gr.TextArea(
-                    label="Text",
-                    placeholder="Input Text Here",
-                    value="はりきっていこう！",
-                )
-                speaker = gr.Dropdown(
-                    choices=speakers, value=speakers[0], label="Speaker"
-                )
-                sdp_ratio = gr.Slider(
-                    minimum=0, maximum=1, value=0.2, step=0.1, label="SDP Ratio"
-                )
-                noise_scale = gr.Slider(
-                    minimum=0.1, maximum=2, value=0.6, step=0.1, label="Noise Scale"
-                )
-                noise_scale_w = gr.Slider(
-                    minimum=0.1, maximum=2, value=0.8, step=0.1, label="Noise Scale W"
-                )
-                length_scale = gr.Slider(
-                    minimum=0.1, maximum=2, value=1, step=0.1, label="Length Scale"
-                )
-                language = gr.Dropdown(
-                    choices=languages, value=languages[1], label="Language"
-                )
-                btn = gr.Button("Generate!", variant="primary")
-            with gr.Column():
-                text_output = gr.Textbox(label="Message")
-                audio_output = gr.Audio(label="Output Audio")
-                gr.Markdown("# 赛马娘 Bert-VITS2 语音合成\n"
-                    "Project page：[GitHub](https://github.com/fishaudio/Bert-VITS2)\n"
-                    "- 本项目在日语方面有所欠缺，特别是音调的设计上，需要帮助。\n"
-                    "- このプロジェクトは、日本語の方面で不足しています。特に、音調の設計に関して助けが欲しいです。")
-
-        btn.click(
-            tts_fn,
-            inputs=[
-                text,
-                speaker,
-                sdp_ratio,
-                noise_scale,
-                noise_scale_w,
-                length_scale,
-                language,
-            ],
-            outputs=[text_output, audio_output],
-        )
+        with gr.Tab(label="umamusume"):
+            with gr.Row():
+                with gr.Column():
+                    text = gr.TextArea(
+                        label="Text",
+                        placeholder="Input Text Here",
+                        value="はりきっていこう！",
+                    )
+                    speaker = gr.Dropdown(
+                        choices=speakers, value=speakers[0], label="Speaker"
+                    )
+                    sdp_ratio = gr.Slider(
+                        minimum=0, maximum=1, value=0.2, step=0.1, label="SDP Ratio"
+                    )
+                    noise_scale = gr.Slider(
+                        minimum=0.1, maximum=2, value=0.6, step=0.1, label="Noise Scale"
+                    )
+                    noise_scale_w = gr.Slider(
+                        minimum=0.1, maximum=2, value=0.8, step=0.1, label="Noise Scale W"
+                    )
+                    length_scale = gr.Slider(
+                        minimum=0.1, maximum=2, value=1, step=0.1, label="Length Scale"
+                    )
+                    language = gr.Dropdown(
+                        choices=languages, value=languages[1], label="Language"
+                    )
+                    btn = gr.Button("Generate!", variant="primary")
+                with gr.Column():
+                    text_output = gr.Textbox(label="Message")
+                    audio_output = gr.Audio(label="Output Audio")
+                    gr.Markdown("# 赛马娘 Bert-VITS2 语音合成\n"
+                        "Project page：[GitHub](https://github.com/fishaudio/Bert-VITS2)\n"
+                        "- 本项目在日语方面有所欠缺，特别是音调的设计上，需要帮助。\n"
+                        "- このプロジェクトは、日本語の方面で不足しています。特に、音調の設計に関して助けが欲しいです。")
+
+            btn.click(
+                tts_fn,
+                inputs=[
+                    text,
+                    speaker,
+                    sdp_ratio,
+                    noise_scale,
+                    noise_scale_w,
+                    length_scale,
+                    language,
+                ],
+                outputs=[text_output, audio_output],
+            )
+        with gr.Tab(label="natuki"):
+            with gr.Row():
+                with gr.Column():
+                    text2 = gr.TextArea(
+                        label="Text",
+                        placeholder="Input Text Here",
+                        value="はりきっていこう！",
+                    )
+                    speaker2 = gr.Dropdown(
+                        choices=speakers_2, value=speakers_2[0], label="Speaker"
+                    )
+                    sdp_ratio2 = gr.Slider(
+                        minimum=0, maximum=1, value=0.2, step=0.1, label="SDP Ratio"
+                    )
+                    noise_scale2 = gr.Slider(
+                        minimum=0.1, maximum=2, value=0.6, step=0.1, label="Noise Scale"
+                    )
+                    noise_scale_w2 = gr.Slider(
+                        minimum=0.1, maximum=2, value=0.8, step=0.1, label="Noise Scale W"
+                    )
+                    length_scale2 = gr.Slider(
+                        minimum=0.1, maximum=2, value=1, step=0.1, label="Length Scale"
+                    )
+                    language2 = gr.Dropdown(
+                        choices=languages, value=languages[1], label="Language"
+                    )
+                    btn2 = gr.Button("Generate!", variant="primary")
+                with gr.Column():
+                    text_output2 = gr.Textbox(label="Message")
+                    audio_output2 = gr.Audio(label="Output Audio")
+                    gr.Markdown("# 赛马娘 Bert-VITS2 语音合成\n"
+                        "Project page：[GitHub](https://github.com/fishaudio/Bert-VITS2)\n"
+                        "- 本项目在日语方面有所欠缺，特别是音调的设计上，需要帮助。\n"
+                        "- このプロジェクトは、日本語の方面で不足しています。特に、音調の設計に関して助けが欲しいです。")
 
+            btn2.click(
+                tts_fn_2,
+                inputs=[
+                    text2,
+                    speaker2,
+                    sdp_ratio2,
+                    noise_scale2,
+                    noise_scale_w2,
+                    length_scale2,
+                    language2,
+                ],
+                outputs=[text_output2, audio_output2],
+            )
     app.launch()

generation_logs.txt

@@ -1602,3 +1602,270 @@
 元々、お前をパシったりしてたのもお前が好きだから始めた事だったからな…正直な話、お前に無視されるのも少し悪くないと思っていた自分もいるし… | 伏特加
 まあその…なんだ、安心しろよ、ご主人様 | 伏特加
 お前に危害を加えようとするやつからも、お前に近づこうとする他の雌犬どもからも、オレが守ってやるからな… | 伏特加
+はりきっていこう！ | 特别周
+はりきっていこう！ | 特别周
+ふふふ | 特别周
+ふふふ、おちんちん、大っきくなったね？ | 特别周
+￥おちんちん、大っきくなったね？ | 特别周
+おちんちん、大っきくなったね？ | 特别周
+おちんちん、大っきくなったね？ | 特别周
+よーしよし、いいこ、いいこ | 特别周
+大丈夫だよ。 | 特别周
+おちんちん、大っきくなったね？ | 特别周
+よーしよーし、いいこ、いいこ | 特别周
+大丈夫だよ。 | 特别周
+ママがそばにいるよ | 特别周
+おちんちん、大っきくなったね？ | 特别周
+大丈夫だよ。 | 特别周
+ママがそばにいるよ | 特别周
+あ、んん?んん?んん?別におかしなことじゃないよ. | 特别周
+ふふふ、よしよし.ほーら、おててでおちんちんさんと遊んであげまちから.え?. | 特别周
+お父さんお母さんには話せないようなことまで. | 特别周
+あら、あらあら、こんにちは. | 特别周
+お父さんお母さんには話せないようなことまで. | 特别周
+んふふふ♪ほーらー♪おちんちんいい子いい子♪. | 特别周
+ほーらー.こしこしこしこしこし.ちょっと乱暴にー.しこしこしこしこー. | 特别周
+ほーらー.こしこしこしこしこし.ちょっと乱暴にー.しこしこしこしこー. | 特别周
+ふふふ.お生死さんがこーんなにたくさん出たってことは…. | 特别周
+君がそれだけ.いつもやらしいことばーっかり考えてた証拠だね. | 特别周
+たあ！しね！ | 特别周
+このプロジェクトは、日本語の方面で不足しています。特に、音調の設計に関して助けが欲しいです。 | 特别周
+このプロジェクトは、日本語の方面で不足しています。特に、音調の設計に関して助けが欲しいです。 | 特别周
+ふんふんふん…ふんふんふん….あーその反応…おっきしちゃってるでしょ?.こらこら、ごまかさないの…そんなのすぐわかっちゃうんだからねー. | 特别周
+毎年いるんだよねー.覗きがバレてお姉ちゃん係に突き出されてきちゃう困った男なんか?. | 特别周
+そういう子にはキツ~いお仕置きをしなきゃいけないんだけど…. | 特别周
+はりきっていこう！ | 特别周
+あ、兄様。そちらはそこに置いておいてください。 | 特别周
+はい、そこです。ありがとうございます。 | 特别周
+ふぅ…兄様のおかげで思いのほか早く、お部屋の片付けが終わりそうです。 | 特别周
+はい。やはり男手というのは頼りになりますね。うふふっ♪ | 特别周
+あ、いえ…機嫌が良いのは、新しいピカピカのお家に引っ越せたからです。今日からここで暮らすんだなーって… | 特别周
+いえいえ、そんな…兄様に一人暮らしをさせるくらいなら、みんな一緒に引っ越した方が良いですから。 | 特别周
+そりゃあそうです。わたしたち姉妹は生まれてからずーっと兄様と一緒だったんですよ？今さら離れて暮らすなんてあり得ません。兄様が一人暮らしなされると言い出した時には、自害しようかと思ったぐらいです。 | 特别周
+大袈裟じゃありません。兄様がそばにいないと寂しいですもん。一緒にいてくれなきゃ嫌です… | 特别周
+(そっと兄に抱きつく) | 特别周
+ねぇ、兄様…？最近は姉様たちとずいぶんお楽しみのようですね…？ | 特别周
+ふふふ…分かりますよ、それくらい。妹たちもみんな何も言わないだけで、兄様と姉様たちがくんずほぐれつしてるのは、察していることと思います。 | 特别周
+え？それは匂いとかアイコンタクトとか…そういうことをシたんだなって、雰囲気で伝わるものなんです。女性の嗅覚を甘く見ない方がいいですよ？ | 特别周
+ふふふ…なら、今度は三女であるわたしを抱く番ですね？ | 特别周
+えぇ。長女、次女ときたら、次はどう考えてもわたしでしょう？ | 特别周
+当然です。兄様のことは異性として、お慕い申し上げておりますから。 | 特别周
+姉妹の中では一番グズで愚鈍なわたしのことも、兄様は気にかけてくださいました。 | 特别��
+今もこうして引っ越した後のお部屋の片付けも手伝ってくださっていますし…兄様はわたしにとって唯一無二の、かけがえのない男性なんです。 | 特别周
+そんな兄様を一人にはさせない…させるもんですか…そんなことしたら、優しい兄様は即座に何処の馬の骨とも知れぬ女の毒牙にかかってしまう…そんなことはわたし、絶対に許しませんから… | 特别周
+…すみません。少し取り乱しました。兄様のことを想うとつい、頭が沸騰してしまって… | 特别周
+(咳払い) | 特别周
+兄様…わたしはまだ学生ですが、きちんと女性として成長しています。子どもだって作れる身体になりましたから。 | 特别周
+ふふ…いえ、子どもを作るのはいささか早すぎますので、きちんとお薬は飲んでいます。兄様にもきちんと嵌めるものは嵌めてもらいます。姉様たちだって、きっとそうしてきたでしょうし。 | 特别周
+…えぇ。兄様ならいつでも大歓迎です♡ 早く目の前の女のことを抱いちゃってください♡ | 特别周
+(押し倒される) | 特别周
+ふふ…それでこそ兄様。わたしの見込んだ男性です。据え膳食わぬは何とやら、ですからね。 | 特别周
+はい…愛しています。これからもずーっと、兄様を愛し続けます。 | 特别周
+どうか兄様も、兄妹という枠組みに囚われず、わたしのことをたくさん愛して…ね？ | 特别周
+　……やっと来た。 | 特别周
+　デートで女の子を待たせるとか、ありえないんだけど。 | 特别周
+　はぁ……。 | 特别周
+　なんでアンタなんかが私の恋人なのよ……。 | 特别周
+　うちの会社とアンタの所の会社の関係を取り持つために、無理矢理付き合わされて。 | 特别周
+　将来は結婚までさせられる。 | 特别周
+　大人のいいように使われて、本当に迷惑。 | 特别周
+　毎週末には、疑われないようにアンタと二人きりで出かけなきゃいけなくて。 | 特别周
+　……私は、もっとちゃんと恋愛がしたかったな。 | 特别周
+　自分で好きな人作って、告白して、付き合うようになったらデートして。 | 特别周
+　……はあぁ。 | 特别周
+　……アンタに愚痴っても仕方ないわね。　 | 特别周
+　とりあえず、私の買い物に付き合ってよ。 | 特别周
+　どうせアンタは行きたい所もないんでしょ？ | 特别周
+　いい？　 | 特别周
+　うん、ありがと。 | 特别周
+（二人で買い物中） | 特别周
+　ねぇ、このワンピースどう？ | 特别周
+「いいんじゃない？」って。なんで曖昧なのよ。 | 特别周
+　似合ってるの？　 | 特别周
+　似合ってないの？ | 特别周
+「多分似合ってる」って？ | 特别周
+　なによ、多分って。 | 特别周
+　まったく。 | 特别周
+　煮え切らない返事ばっかりで……。 | 特别周
+　もう！ | 特别周
+　アンタは可愛いと思うの？ | 特别周
+　どうなのよ？ | 特别周
+　……へ、……ちょ、ちょっと。 | 特别周
+　なんで「可愛い」を言うだけで、照れるのよ……。 | 特别周
+（照れたように小声で） | 特别周
+　……聞いたこっちまで恥ずかしくなるじゃない。 | 特别周
+　もういいわ。 | 特别周
+　アンタがそこまで言うなら、このワンピース買ってくるから。 | 特别周
+　ちょっと待ってて。 | 特别周
+（買い物終わり） | 特别周
+　お待たせ。 | 特别周
+　もういい時間だし、そろそろ帰ろっか？ | 特别周
+　ふぅ……。 | 特别周
+　これで今週分のデートも終わりね。　 | 特别周
+　それで……来週はどうする？ | 特别周
+　先週は映画見に行ったし。 | 特别周
+　カラオケとか行ってみよっか？ | 特别周
+　アンタの歌とか聞いたことなかったし。　 | 特别周
+　ん？　話？ | 特别周
+　なによ、そんな真剣そうな顔して。 | 特别周
+「来週からはデートしなくてもいい」？ | 特别周
+　いやいや。 | 特别周
+　そういうわけにはいかないでしょ。 | 特别周
+　デートしなくなったら、怪しまれるかもしれないし。 | 特别周
+　これはしょうがないこと……。 | 特别周
+　そう。 | 特别周
+　しょうがないことなんだよ。 | 特别周
+　政略結婚のために、私たちは嫌でも付き合わないといけない。 | 特别周
+　アンタもそれは分かってるでしょ？ | 特别周
+「表向きは付き合っていく」って？ | 特别周
+　なに、表向きって？ | 特别周
+「見られる範囲だけは恋人のフリをすればいい」？ | 特别周
+「週末のデートも口裏を合わせればバレる心配はない」？ | 特别周
+　……それ本気で言ってるの？ | 特别周
+　でも、……さ。 | 特别周
+　でもほら、万が一があるじゃない。 | 特别周
+　私たちの気持ちで、どうこう出来ない問題だしさ。 | 特别周
+　バレるわけにはいかないからね。 | 特别周
+　だから、今まで通りデートはしないと。でしょ？ | 特别周
+「もう君が無理に犠牲になる必要なんかない」って。 | 特别周
+　……なにそれ。 | 特别周
+　別に私は無理してなんか。 | 特别周
+　……それに犠牲とかでも、……ないって、言うか。 | 特别周
+　それなりに楽しかったし……。 | 特别周
+　えっ……。 | 特别周
+　それ本気で言ってるの？ | 特别周
+　だから！ | 特别周
+「他に恋人を作っていい」って、本気で言ってるの！ | 特别周
+　……それ、浮気ってことでしょ？ | 特别周
+　アンタは浮気してもいいって言ってるんでしょ？ | 特别周
+　……なにそれ。 | 特别周
+　私が普通に恋愛をしたいって言ったから。……そんなこと言ってるの？ | 特别周
+　別にそんなことしなくてもいいわよ……。 | 特别周
+　……もう今の状況は受け入れたし、それに。 | 特别周
+　それに、アンタと付き合うのは、……そんなに悪くないって言うか。 | 特别周
+　…………えっ。待って。 | 特别周
+　私にそんなこと言うってことは、アンタも他に恋人を作るってこと？ | 特别周
+　浮気するってこと？ | 特别周
+　──ダメ！ | 特别周
+　そんなのダメに決まってる！ | 特别周
+　私以外の恋人なんて、……そんなのイヤ。 | 特别周
+　アンタの恋人は私だけなの。 | 特别周
+　他に作るなんて、──絶対に許さないから。　 | 特别周
+　あっ、そうだ。 | 特别周
+　どうせそのうち結婚するんだし、既成事実作っちゃおうか。 | 特别周
+　遅かれ早かれ、お互いの会社に跡取りは必要になるし、今のうちでも問題ないよね。 | 特别周
+　……今までの私たちって、恋人っぽくなかった。 | 特别周
+　だからアンタもそんなこと言っちゃったんだよね。　 | 特别周
+　私も自分の気持ちに気づけてなかったし。 | 特别周
+　これからはちゃんと恋人らしいことしようね。 | 特别周
+　……大好き。 | 特别周
+　ずっと一緒にいようね。 | 特别周
+　愛しています。──私だけの旦那さま。 | 特别周
+おはよ～ | 特别周
+ホントごめ～んマジで…遅れちゃって… | 特别周
+いやさぁ…クラスの友達と出くわしちゃってね… | 特别周
+それであっちがなんか話し掛けてきたから | 特别周
+無視するのも可哀想だし少しだけ話に付き合うつもりだったんだけど… | 特别周
+なんか優しくされて付け上がったのかは知らないけど… | 特别周
+あっち側が…どんどん話を長引かせてきて… | 特别周
+それで…えっと…遅れました…ごめんなさい | 特别周
+……いいの？　 | 特别周
+別に君と私の仲なんだから文句の一つでも言ってもらってもいいんだよ？ | 特别周
+うーん…でも私的に何もないと後味悪いし… | 特别周
+だって今の所遅刻した私が全面的に悪いかなって… | 特别周
+あっ…そうだ！　今日なんか手伝ってあげるよ！ | 特别周
+ほら君って先生に何かと頼まれるし… | 特别周
+いいでしょ？　よっし…これですっきりしたぁ！ | 特别周
+それじゃ一緒に学校行こ！ | 特别周
+ちょっと、テレビのチャンネル変えて　あんたのほうがリモコンに近いでしょ | 特别周
+さっさとしなさいよ　はぁ……、スマートスピーカー以下 | 特别周
+あぁ？　そのクイズ番組にバカぶりっ子女が出てるからに決まってんじゃん | 特别周
+……アイドル同士で仲良くしてんのなんてほとんど嘘　実際はライバル同士なんだから　これ常識ね | 特别周
+だいたい、この女だってイケメン俳優に手当たり次第媚びに行ってたくせに　処女みたいな顔してテレビ出やがって | 特别周
+あー、ムカついてきた　なんでアタシだけ引退させられてんだよ　不倫くらいみんなやってるだろ多分！ | 特别周
+四股かけてたのは本当だけど、身体は誰にも許してなかったし！　バカ男どもを転がしただけ！ | 特别周
+っていうか妻なら旦那の心ぐらい繋ぎ止めろよ！　できないなら別れとけ！　全部をアタシのせいにするな！ | 特别周
+ちょっと、テレ���のチャンネル変えて　あんたのほうがリモコンに近いでしょ | 特别周
+さっさとしなさいよ　はぁ……、スマートスピーカー以下 | 特别周
+あぁ？　そのクイズ番組にバカぶりっ子女が出てるからに決まってんじゃん | 特别周
+……アイドル同士で仲良くしてんのなんてほとんど嘘　実際はライバル同士なんだから　これ常識ね | 特别周
+だいたい、この女だってイケメン俳優に手当たり次第媚びに行ってたくせに　処女みたいな顔してテレビ出やがって | 特别周
+あー、ムカついてきた　なんでアタシだけ引退させられてんだよ　不倫くらいみんなやってるだろ多分！ | 特别周
+四股かけてたのは本当だけど、身体は誰にも許してなかったし！　バカ男どもを転がしただけ！ | 特别周
+っていうか妻なら旦那の心ぐらい繋ぎ止めろよ！　できないなら別れとけ！　全部をアタシのせいにするな！ | 特别周
+ちょっと、テレビのチャンネル変えて　あんたのほうがリモコンに近いでしょ | 特别周
+さっさとしなさいよ　はぁ……、スマートスピーカー以下 | 特别周
+あぁ？　そのクイズ番組にバカぶりっ子女が出てるからに決まってんじゃん | 特别周
+……アイドル同士で仲良くしてんのなんてほとんど嘘　実際はライバル同士なんだから　これ常識ね | 特别周
+だいたい、この女だってイケメン俳優に手当たり次第媚びに行ってたくせに　処女みたいな顔してテレビ出やがって | 特别周
+あー、ムカついてきた　なんでアタシだけ引退させられてんだよ　不倫くらいみんなやってるだろ多分！ | 特别周
+四股かけてたのは本当だけど、身体は誰にも許してなかったし！　バカ男どもを転がしただけ！ | 特别周
+っていうか妻なら旦那の心ぐらい繋ぎ止めろよ！　できないなら別れとけ！　全部をアタシのせいにするな！ | 特别周
+あ～～もう！　こっち来なさい　ほら急ぐ！ | 特别周
+ん……　もっと強くぎゅってして……　すぅ～　はぁ～ | 特别周
+……よし、落ち着いてきた　あんた、鎮静効果に関してはスマートスピーカーより上かも | 特别周
+……あんたに触れてると安心するのって、よく考えたら意味わかんないんだけど　幼馴染ってだけの一般人のくせしてさ | 特别周
+あのイケメン俳優……ショウタだかショウイチだか忘れたけど、アイツが肩とか触ってきた時はキレそうになったっていうのに | 特别周
+……ショウゴが正解？　ふぅ～ん、まあ覚える気ないし | 特别周
+ていうかアイツさ、芸人並みに面白いとか言われててるけど、番組でもプライベートでもめっちゃくちゃつまんなかったわ | 特别周
+話すこと全部なんかの受け売り、あと興味ない話題しつこく振ってくる | 特别周
+あんたと話してるほうが全然マシ　勝手なイメージ押し付けてこないし、いちいち説明しなくても話通じるから | 特别周
+……言っとくけど、あんたとアタシは本来釣り合わないんだからね　アタシ１００年に一人の美少女だし | 特别周
+……頭も撫でて　今日はどうせどこにも行かないし、ここで泊まるから、髪ぼさぼさになってもいい | 特别周
+明日も暇でしょ？　ていうか用事あってもアタシのほうが優先だから | 特别周
+新しいスマホ買って、電話番号も変えたいから、ついて来て　わたし契約とかわかんないし | 特别周
+アイドル引退してから、前の知り合いとか、同級生とかからいっぱい連絡くるの | 特别周
+アタシのことなにも知らないくせに心配してくる奴とか、ワンチャン狙ってる奴とか | 特别周
+全部無視してるんだけど、通知ウザすぎるから、もう新しいスマホにしたい | 特别周
+適当に機種決めてよ、あんたの連絡先と、ソシャゲしか使わないからさ | 特别周
+……必要な機能だけ、あればいいし | 特别周
+ちょっと、テレビのチャンネル変えて　あんたのほうがリモコンに近いでしょ | 特别周
+さっさとしなさいよ　はぁ……、スマートスピーカー以下 | 特别周
+あぁ？　そのクイズ番組にバカぶりっ子女が出てるからに決まってんじゃん | 特别周
+……アイドル同士で仲良くしてんのなんてほとんど嘘　実際はライバル同士なんだから　これ常識ね | 特别周
+だいたい、この女だってイケメン俳優に手当たり次第媚びに行ってたくせに　処女みたいな顔してテレビ出やがって | 特别周
+あー、ムカついてきた　なんでアタシだけ引退させられてんだよ　不倫くらいみんなやってるだろ多分！ | 特别周
+四股かけてたのは本当だけど、身体は誰にも許してなかったし！　バカ男どもを転がしただけ！ | 特别周
+っていうか妻なら旦那の心ぐらい繋ぎ止めろよ！　できないなら別れとけ！　全部をアタシのせいにするな！ | 特别周
+あーーもう！　こっち来なさい　ほら急ぐ！ | 特别周
+ん……　もっと強くぎゅってして……　すぅ～　はぁ～ | 特别周
+……よし、落ち着いてきた　あんた、鎮静効果に関してはスマートスピーカーより上かも | 特别周
+……あんたに触れてると安心するのって、よく考えたら意味わかんないんだけど　幼馴染ってだけの一般人のくせしてさ | 特别周
+あのイケメン俳優……ショウタだかショウイチだか忘れたけど、アイツが肩とか触ってきた時はキレそうになったっていうのに | 特别周
+……ショウゴが正解？　ふぅ～ん、まあ覚える気ないし | 特别周
+ていうかアイツさ、芸人並みに面白いとか言われててるけど、番組でもプライベートでもめっちゃくちゃつまんなかったわ | 特别周
+話すこと全部なんかの受け売り、あと興味ない話題しつこく振ってくる | 特别周
+あんたと話してるほうが全然マシ　勝手なイメージ押し付けてこないし、いちいち説明しなくても話通じるから | 特别周
+……言っとくけど、あんたとアタシは本来釣り合わないんだからね　アタシ１００年に一人の美少女だし | 特别周
+……頭も撫でて　今日はどうせどこにも行かないし、ここで泊まるから、髪ぼさぼさになってもいい | 特别周
+明日も暇でしょ？　ていうか用事あってもアタシのほうが優先だから | 特别周
+新しいスマホ買って、電話番号も変えたいから、ついて来て　わたし契約とかわかんないし | 特别周
+アイドル引退してから、前の知り合いとか、同級生とかからいっぱい連絡くるの | 特别周
+アタシのことなにも知らないくせに心配してくる奴とか、ワンチャン狙ってる奴とか | 特别周
+全部無視してるんだけど、通知ウザすぎるから、もう新しいスマホにしたい | 特别周
+適当に機種決めてよ、あんたの連絡先と、ソシャゲしか使わないからさ | 特别周
+……必要な機能だけ、あればいいし | 特别周
+あっ…あの…今日一緒に帰らない？　ほら私今日部活ないし… | 特别周
+おそーい。何分待たせるのよ。 | 特别周
+いや部活はわかってるけどもう少し急ぎなさいよ。まぁいいや、早く帰ろ。 | 特别周
+てかさー聞いてよー。また今日も告られたんだけど。しかも相手はあの高橋君。 | 特别周
+そうそう、あのイケメンでサッカー部のエースの。 | 特别周
+いやーモテるって罪よねー。この前もバスケ部の先輩に告られたし。ちなみにその人もあんたより背が高くてイケメンだったけどね。 | 特别周
+「あっそ」って何よ？なんか反応薄くない？ | 特别周
+あのさー、今更謙遜するつもりないけど私って結構モテるんだよ？その私と付き合えてるんだからもっと他に言うことあるでしょ？ | 特别周
+はぁ～まったく……そんな調子だったら愛想つかして他の男のところに行っちゃうかもしれないよ？ | 特别周
+あーあ、高橋君とか先輩だったらもっと気の利いたこと言ってくれるんだろーなー。二人とも優しいしイケメンだし。もういっそのこと一回くらい遊びにでも……なーんて流石に……。 | 特别周
+はりきっていこう！ | 特别周
+はりきっていこう！ | 无声铃鹿
+はりきっていこう！ | 无声铃鹿
+この私が、マン汁を垂れ流しながら、マンズリを繰り返すとは……。 | 无声铃鹿
+この私が、マン汁を垂れ流しながら、マンズリを繰り返すとは……。 | 特别周
+この私が、マン汁を垂れ流しながら、マンズリを繰り返すとは……。 | 特别周
+んっ……あっ……はぁ、はぁ……んっ……あっ……はぁ、はぁ……んっ……あっ……はぁ、はぁ……んっ……あっ……はぁ、はぁ……んっ……あっ……はぁ、はぁ……んっ……あっ……はぁ、はぁ……  | 特别周
+御願いですから、セイシを出してください！　私のオマンコ、孕ませてください！ | 特别周
+チンポをズボズボして、早くチンポミルク出してっ！　私のオマンコに、どんどんぶち込んでっ！ | 特别周
+チンポをズボ��ボして、早くチンポミルク出してっ！　私のオマンコに、どんどんぶち込んでっ！ | 无声铃鹿
+メス穴に指を入れながら、クリトリスを刺激するのが、お気に入りなんです。 | 无声铃鹿
+メス穴に指を入れながら、クリトリスを刺激するのが、お気に入りなんです。 | 特别周
+はりきっていこう！ | 特别周
+はりきっていこう！ | 特别周

logs/natuki/G_72000.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:27fc40d5a2a1e3fe0d7116afd150970ca5a2e5cfea16e7a12b1c7b627d50aa95
+size 857605376

logs/natuki/config.json

@@ -0,0 +1,96 @@
+{
+  "train": {
+    "log_interval": 20,
+    "eval_interval": 500,
+    "seed": 52,
+    "epochs": 10000,
+    "learning_rate": 0.00001,
+    "betas": [
+      0.8,
+      0.99
+    ],
+    "eps": 1e-09,
+    "batch_size": 4,
+    "fp16_run": false,
+    "lr_decay": 0.999875,
+    "segment_size": 16384,
+    "init_lr_ratio": 1,
+    "warmup_epochs": 0,
+    "c_mel": 45,
+    "c_kl": 1.0,
+    "skip_optimizer": true
+  },
+  "data": {
+    "training_files": "filelists/train.list",
+    "validation_files": "filelists/val.list",
+    "max_wav_value": 32768.0,
+    "sampling_rate": 44100,
+    "filter_length": 2048,
+    "hop_length": 512,
+    "win_length": 2048,
+    "n_mel_channels": 128,
+    "mel_fmin": 0.0,
+    "mel_fmax": null,
+    "add_blank": true,
+    "n_speakers": 256,
+    "cleaned_text": true,
+    "spk2id": {
+      "野上菜月": 0,
+      "野上菜月2": 1
+    }
+  },
+  "model": {
+    "use_spk_conditioned_encoder": true,
+    "use_noise_scaled_mas": true,
+    "use_mel_posterior_encoder": false,
+    "use_duration_discriminator": true,
+    "inter_channels": 192,
+    "hidden_channels": 192,
+    "filter_channels": 768,
+    "n_heads": 2,
+    "n_layers": 6,
+    "kernel_size": 3,
+    "p_dropout": 0.1,
+    "resblock": "1",
+    "resblock_kernel_sizes": [
+      3,
+      7,
+      11
+    ],
+    "resblock_dilation_sizes": [
+      [
+        1,
+        3,
+        5
+      ],
+      [
+        1,
+        3,
+        5
+      ],
+      [
+        1,
+        3,
+        5
+      ]
+    ],
+    "upsample_rates": [
+      8,
+      8,
+      2,
+      2,
+      2
+    ],
+    "upsample_initial_channel": 512,
+    "upsample_kernel_sizes": [
+      16,
+      16,
+      8,
+      2,
+      2
+    ],
+    "n_layers_q": 3,
+    "use_spectral_norm": false,
+    "gin_channels": 256
+  }
+}

text/chinese_bert.py

@@ -2,7 +2,7 @@ import torch
 import sys
 from transformers import AutoTokenizer, AutoModelForMaskedLM
 
-tokenizer = AutoTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext-large")
+tokenizer = AutoTokenizer.from_pretrained("./bert/chinese-roberta-wwm-ext-large")
 
 models = dict()
 
@@ -18,7 +18,7 @@ def get_bert_feature(text, word2ph, device=None):
         device = "cuda"
     if device not in models.keys():
         models[device] = AutoModelForMaskedLM.from_pretrained(
-            "hfl/chinese-roberta-wwm-ext-large"
+            "./bert/chinese-roberta-wwm-ext-large"
         ).to(device)
     with torch.no_grad():
         inputs = tokenizer(text, return_tensors="pt")

text/japanese.py

@@ -664,16 +664,42 @@ def g2p(norm_text):
     word2ph = [1] + word2ph + [1]
     return phones, tones, word2ph
 
-
+import tdmelodic
 if __name__ == "__main__":
     tokenizer = AutoTokenizer.from_pretrained("./bert/bert-base-japanese-v3")
-    text = "hello,こんにちは、世界ー！……"
+    text = "だったら私、スズカさんと同じチームに入りたいです！ スズカさんの走りを毎日近くで、なんなら真横から見ていたいので！"
+    #print(_TAGGER.parse(text))
+   # nodes = [{"surface": "こんにちは", "pos": "感動詞:*:*:*", "pron": "コンニチワ", "c_type": "*", "c_form": "*", "accent_type": 0, "accent_con_type": "-1", "chain_flag": -1}]
+    nodes = [{"surface":"こんにちは","pron": "コンニチワ","pos": "感動詞:*:*:*",}]
     from text.japanese_bert import get_bert_feature
-
+    import pyopenjtalk
+    from marine.predict import Predictor
+    from marine.utils.openjtalk_util import convert_njd_feature_to_marine_feature
     text = text_normalize(text)
+    NJD_NODES = pyopenjtalk.run_frontend(text)
+    predictor = Predictor()
+ #   important_info = [{"string":i["string"],"pron":i["pron"],"acc":i["acc"]}for i in pyopenjtalk.estimate_accent(NJD_NODES)]
     print(text)
-
-    phones, tones, word2ph = g2p(text)
-    bert = get_bert_feature(text, word2ph)
-
-    print(phones, tones, word2ph, bert.shape)
+    
+    marine_feature = convert_njd_feature_to_marine_feature(NJD_NODES)
+    results = predictor.predict([marine_feature])
+    for mora,acc in zip(results["mora"][0],results["accent_status"][0]):
+        print(f"{mora}:{acc}")
+    # for i in pyopenjtalk.estimate_accent(NJD_NODES):
+    #     print(f"{i['string']}:{i['pron']}:{i['acc']}")
+#     info = pyopenjtalk.extract_fullcontext(text,run_marine=True)
+#     info_nomarine = pyopenjtalk.extract_fullcontext(text,run_marine=False)
+#    # nodes = pyopenjtalk
+#    # print(info)
+#     for i,j in zip(info,info_nomarine):
+#         print(i)
+#         print(j)
+#         print("\n")
+    # predictor = Predictor()
+    #print(pyopenjtalk.estimate_accent(text))
+    # output = predictor.predict([nodes],accent_represent_mode="high_low")
+    #print(output)
+    # phones, tones, word2ph = g2p(text)
+    # bert = get_bert_feature(text, word2ph)
+
+    # print(phones, tones, word2ph, bert.shape)

text/japanese_bert.py

@@ -3,7 +3,7 @@ from transformers import AutoTokenizer, AutoModelForMaskedLM
 import sys
 import os
 from text.japanese import text2sep_kata
-tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-v3")
+tokenizer = AutoTokenizer.from_pretrained("./bert/bert-base-japanese-v3")
 
 models = dict()
 
@@ -57,7 +57,7 @@ def get_bert_feature_with_token(tokens, word2ph, device=None):
         device = "cuda"
     if device not in models.keys():
         models[device] = AutoModelForMaskedLM.from_pretrained(
-            "cl-tohoku/bert-base-japanese-v3"
+            "./bert/bert-base-japanese-v3"
         ).to(device)
     with torch.no_grad():
         inputs = torch.tensor(tokens).to(device).unsqueeze(0)