Hugging Face's logo

George2002
/
sledopyt_embedder_q2p

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:8194
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on intfloat/multilingual-e5-large

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("George2002/sledopyt_embedder")
# Run inference
sentences = [
    'query: в общем-то Какие бумаги нужно показать для получения перевода клиенту-банкроту?',
    'passage: ВНИМАНИЕ !\nС 23 октября 2023г. в МП СБОЛ станет доступным заказ Детской СберКарты по свидетельству о рождении Украины со штампом о гражданстве РФ.\nДля получения Детской СберКарты в офисе банка необходимо будет предоставить нотариально заверенное удостоверение перевода на русский язык свидетельства о рождении Украины со штампом о гражданстве РФ.\n\n\n\n\n\nТипичные вопросы по Детской СберКарте и ответы на них\n\n02. Выдача Детской СберКарты\n\nПри выдаче Детской СберКарты всегда проверяйте правильность оформления документов, сверяйте данные, указанные в Заявлении на получение карты, с данными документа, удостоверяющего личность. \nВажно! Обращайте внимание на возраст ребёнка – он должен быть от 6 до 13 лет (включительно) на момент получения Детской СберКарты в офисе Банка.\n\nВыберите интересующий вопрос',
    'q2p',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 8,194 training samples
  • Columns: anchor, positive, and task_type
  • Approximate statistics based on the first 1000 samples:
    anchor positive task_type
    type string string string
    details
    • min: 11 tokens
    • mean: 22.23 tokens
    • max: 42 tokens
    • min: 12 tokens
    • mean: 163.34 tokens
    • max: 512 tokens
    • min: 5 tokens
    • mean: 5.0 tokens
    • max: 5 tokens
  • Samples:
    anchor positive task_type
    query: Как долго рассматривается решение по операции ПЦП в Центре комплаенса Московского Банка? passage: ВНИМАНИЕ !
    С 23 октября 2023г. в МП СБОЛ станет доступным заказ Детской СберКарты по свидетельству о рождении Украины со штампом о гражданстве РФ.
    Для получения Детской СберКарты в офисе банка необходимо будет предоставить нотариально заверенное удостоверение перевода на русский язык свидетельства о рождении Украины со штампом о гражданстве РФ.





    Типичные вопросы по Детской СберКарте и ответы на них

    16. Переводы по Детской СберКарте

    Выберите интересующий вопрос    		 q2p
    query: Гдеп осмотреть варианты офромления Дтеской СберКарты? passage: Узнайте у клиента, кем является его подопечный

    Недееспособным

    Попросите предоставить клиента соответсвующие документы. После того, как документы были предъявлены, проверьте их, прожмите галочку "Документы предъявлены" и нажмите продолжить.    		 q2p
    query: Какие сведения необходимо заполнить при добавлении подопечного? passage: Обслуживание клиента Банка с определенной степенью дееспособности
    (несовершеннолетний, недееспособный, ограниченный в дееспособности)    		 q2p
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

  • Size: 432 evaluation samples
  • Columns: anchor, positive, and task_type
  • Approximate statistics based on the first 432 samples:
    anchor positive task_type
    type string string string
    details
    • min: 11 tokens
    • mean: 22.46 tokens
    • max: 38 tokens
    • min: 12 tokens
    • mean: 148.38 tokens
    • max: 512 tokens
    • min: 5 tokens
    • mean: 5.0 tokens
    • max: 5 tokens
  • Samples:
    anchor positive task_type
    query: Кто имеет право подтвердить операцию при использовании второго указания? passage: Клиент желает выполнить расход

    Если в разрешении ФУ указана сумма в размере 50 000 рублей денежные средства можно выдавать по КОПИИ разрешения ФУ/ по разрешению ФУ, подписанному электронной подписью, так как эти средства положены должнику по закону.
    В случаях, когда в разрешении ФУ указана сумма, ПРЕВЫШАЮЩАЯ 50 000 рублей:
    - выдачу копии разрешения ФУ
    - разрешение ФУ, подписанного электронной подписью
    необходимо проверить у ФУ по телефону (при наличии телефона ФУ в разрешении)/ требовать оригинал разрешения ФУ, предложить порядок предоставления оригинала разрешения на получение ДС в любое отделение банка с указанием отделения получения ДС банкротом (порядок описан в последнем абзаце шага).

    Клиент желает выполнить расход

    Если в разрешении ФУ указана сумма в размере 50 000 рублей денежные средства можно выдавать по КОПИИ разрешения ФУ/ по разрешению ФУ, подписанному электронной подписью, так как эти средства положены должнику по закону.
    В случаях, когда в разрешении Ф...    		 q2p
    query: Куда подаются заявления от вкладчиков по Федеральному закону от 23.12.2003 N 177-ФЗ? passage: У клиента ЕСТЬ/НЕТ документа подтверждающего наследственное право (далее - ДПНП) - свидетельства о праве на наследство/завещание в банке в его пользу до 01.03.2002

    Есть ДПНП

    Клиент хочет получить выплату наследства на основании ДПНП?    		 q2p
    query: В каких можно выпустить или перевыпустить карту без согласования с ПЦП Центр комплаенс? passage: Выберите интересующий вопрос

    2. Как закрыть Детскую СберКарту в МП СБОЛ ?

    Детскую СберКарту можно закрыть в МП СБОЛ, если на ней нет средств.
    Для этого Законному представителю нужно выбрать карту Ребёнка в списке карт, затем перейти в пункт «Настройки» → «Закрыть» → подтвердить операцию. Карта немедленно заблокируется, а счет закроется автоматический через 30 дней.    		 q2p
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 64
  • learning_rate: 1e-05
  • weight_decay: 0.01
  • num_train_epochs: 10
  • warmup_ratio: 0.1
  • load_best_model_at_end: True
  • push_to_hub: True
  • hub_model_id: George2002/sledopyt_embedder
  • hub_strategy: end

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-05
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 10
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: True
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • tp_size: 0
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: True
  • resume_from_checkpoint: None
  • hub_model_id: George2002/sledopyt_embedder
  • hub_strategy: end
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss Validation Loss
0.1562 10 4.4544 -
0.3125 20 4.2972 -
0.3906 25 - 2.1215
0.4688 30 4.2058 -
0.625 40 4.1676 -
0.7812 50 4.1589 2.0754
0.9375 60 4.1537 -
1.0938 70 4.1414 -
1.1719 75 - 2.0523
1.25 80 4.1134 -
1.4062 90 4.0985 -
1.5625 100 4.0703 2.0018
1.7188 110 4.0612 -
1.875 120 4.0258 -
1.9531 125 - 1.9405
2.0312 130 3.9457 -
2.1875 140 3.8651 -
2.3438 150 3.7917 1.8741
2.5 160 3.6884 -
2.6562 170 3.6679 -
2.7344 175 - 1.7795
2.8125 180 3.6507 -
2.9688 190 3.5815 -
3.125 200 3.3862 1.6903
3.2812 210 3.3398 -
3.4375 220 3.23 -
3.5156 225 - 1.6646
3.5938 230 3.2616 -
3.75 240 3.1892 -
3.9062 250 3.1402 1.5480
4.0625 260 3.0188 -
4.2188 270 2.8433 -
4.2969 275 - 1.4929
4.375 280 2.8547 -
4.5312 290 2.8257 -
4.6875 300 2.7926 1.4208
4.8438 310 2.8348 -
5.0 320 2.7752 -
5.0781 325 - 1.3631
5.1562 330 2.5492 -
5.3125 340 2.5594 -
5.4688 350 2.5388 1.3001
5.625 360 2.4945 -
5.7812 370 2.4622 -
5.8594 375 - 1.2738
5.9375 380 2.4739 -
6.0938 390 2.3813 -
6.25 400 2.25 1.2204
6.4062 410 2.3371 -
6.5625 420 2.2495 -
6.6406 425 - 1.1891
6.7188 430 2.2528 -
6.875 440 2.2632 -
7.0312 450 2.1912 1.1430
7.1875 460 2.0829 -
7.3438 470 2.0772 -
7.4219 475 - 1.1309
7.5 480 2.0683 -
7.6562 490 2.1433 -
7.8125 500 2.1272 1.1044
7.9688 510 2.0564 -
8.125 520 1.9743 -
8.2031 525 - 1.0847
8.2812 530 1.9884 -
8.4375 540 1.9915 -
8.5938 550 2.007 1.0686
8.75 560 1.9727 -
8.9062 570 1.9395 -
8.9844 575 - 1.0611
9.0625 580 1.9538 -
9.2188 590 1.9069 -
9.375 600 1.8768 1.0467
9.5312 610 1.8875 -
9.6875 620 1.8867 -
9.7656 625 - 1.0414
9.8438 630 1.846 -
10.0 640 1.9162 -

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 4.1.0
  • Transformers: 4.51.3
  • PyTorch: 2.6.0+cu124
  • Accelerate: 1.6.0
  • Datasets: 3.5.0
  • Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
4
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for George2002/sledopyt_embedder_q2p

Base model

intfloat/multilingual-e5-large
Finetuned
(139)
this model

Papers for George2002/sledopyt_embedder_q2p