final

app.py

@@ -1,5 +1,15 @@
 import streamlit as st
 
-st.title('Тест')
+st.title('Проект по NLP(Было больно)')
 
 
+st.image('pages/models/mem.jpeg')
+
+# st.write('Команда Помирающие:')
+# st.write('Дмитрий Будажапов')
+# st.write('Лариса Хлапушина')
+# st.write('Львов Даниил')
+st.write('<span style="font-size:40px;">Команда Помирающие</span>', unsafe_allow_html=True)
+st.write('<span style="font-size:25px;">1. Дмитрий Будажапов</span>', unsafe_allow_html=True)
+st.write('<span style="font-size:25px;">2. Лариса Хлапушина</span>', unsafe_allow_html=True)
+st.write('<span style="font-size:25px;">3. Львов Даниил</span>', unsafe_allow_html=True)

pages/gpt.py

@@ -5,6 +5,9 @@ import torch
 import transformers
 from transformers import GPT2LMHeadModel, GPT2Tokenizer
 
+
+st.title('Генерация текста модель rugpt3small_based_on_gpt2 ')
+
 text = st.text_input('Введите сюда вопрос или предложение для генерации текста')
 
 

pages/text_classif.py

@@ -10,6 +10,9 @@ import time
 from  pages.models.ml import predict
 from pages.models.rnn import pred
 
+
+st.title('Классификация отзывов')
+
 text = st.text_input('Введите сюда отзыв')
 if text:
     # start_time = time.time()
@@ -26,7 +29,7 @@ if text:
 
 # Создание DataFrame с указанными значениями
 data = {
-    'Параметр': ['ML', 'LSTM', 'BERT'],
+    'Параметр': ['ML-TFIDF-LogReg', 'RNN', 'BERT-LaBSE-LogReg'],
     'Значение': [0.52, 0.56, 0.62]
 }
 

pages/toxicity.py

@@ -0,0 +1,45 @@
+import torch
+from transformers import AutoTokenizer, AutoModelForSequenceClassification
+import streamlit as st
+import pandas as pd
+
+model_checkpoint = 'cointegrated/rubert-tiny-toxicity'
+tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
+if torch.cuda.is_available():
+    model.cuda()
+    
+def text2toxicity(text, aggregate=False):
+    """ Calculate toxicity of a text (if aggregate=True) or a vector of toxicity aspects (if aggregate=False)"""
+    with torch.no_grad():
+        inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device)
+        proba = torch.sigmoid(model(**inputs).logits).cpu().numpy()
+    if isinstance(text, str):
+        proba = proba[0]
+    if aggregate:
+        return 1 - proba.T[0] * (1 - proba.T[-1])
+    return proba
+
+
+st.title("Определение уровня токсичности")
+
+# Ввод предложения от пользователя
+input_text = st.text_input("Введите предложение:", "")
+ 
+
+# Обработка входных данных через модель
+if input_text:
+    # Вывод результатов
+    my_dict = {
+    'Не токсичный': (text2toxicity(input_text, False))[0],
+    'Оскорбление': (text2toxicity(input_text, False))[1],
+    'Непристойность': (text2toxicity(input_text, False))[2],
+    'Угроза': (text2toxicity(input_text, False))[3],
+    'Опасный': (text2toxicity(input_text, False))[4]
+}
+    # my_dict['index'] = 'your_index_value'
+    # st.write({text2toxicity(input_text, False)[0]: 'non-toxic'})
+    
+    df = pd.DataFrame(my_dict, index=['вероятности'])
+    st.dataframe(df)
+    st.write(f'Вероятность токсичного комментария {text2toxicity(input_text, True)}')