adding "fluency-version output"

app.py

@@ -60,10 +60,24 @@ def ner(text):
   for entity in output:
     entity['entity'] = entity.pop('entity_group')
 
-  text = text.replace("_", " ")
+  # Remove Disfluency-entities to return a sentence with "Fluency" version
+  list_str = list(text)
+
+  for entity in output[::-1]: # if we use default order of output list, we will shorten the length of the sentence, so the words later are not in the correct start and end index
+    start = max(0, entity['start'] - 1)
+    end = min(len(list_str), entity['end'] + 1)
+
+    list_str[start:end] = ' '
+
+  fluency_sentence = "".join(list_str).strip().capitalize() # use strip() in case we need to remove entity at the beginning or the end of sentence
+                                                            # (without strip(): "Giá vé khứ hồi à nhầm giá vé một chiều ..." -> " giá vé một chiều ...")
 
+  # Replace words like "Đà_Nẵng" to "Đà Nẵng"  
+  text = text.replace("_", " ")
+  fluency_sentence = fluency_sentence.replace("_", " ")
+    
       
-  return {'text': text, 'entities': output}
+  return {'text': text, 'entities': output}, fluency_sentence
 
 examples = ['Tôi cần thuê à tôi muốn bay một chuyến khứ hồi từ Đà Nẵng đến Đà Lạt', 
             'Giá vé một chiều à không khứ hồi từ Đà Nẵng đến Vinh dưới 2 triệu đồng giá vé khứ hồi từ Quy Nhơn đến Vinh dưới 3 triệu đồng giá vé khứ hồi từ Buôn Ma Thuột đến Quy Nhơn à đến Vinh dưới 4 triệu rưỡi', 
@@ -74,19 +88,11 @@ examples = ['Tôi cần thuê à tôi muốn bay một chuyến khứ hồi từ
 
 demo = gr.Interface(ner, 
                     gr.Textbox(label='Sentence', placeholder="Enter your sentence here..."),
-                    outputs=gr.HighlightedText(label='Highlighted Output'),
+                    outputs=[gr.HighlightedText(label='Highlighted Output'), gr.Textbox(label='"Fluency" version')],
                     examples=examples,
                     title="Disfluency Detection",
                     description="This is an easy-to-use built in Gradio for desmontrating a NER System that identifies disfluency-entities in \
                     Vietnamese utterances",
                     theme=gr.themes.Soft())
 
-demo.launch() 
-
-
-
-
-
-
-
-
+demo.launch()