khanhchils123/intfoat

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: Trang https://vieclam.uet.vnu.edu.vn/ dùng để làm gì?',
    'passage: Trường có trung tâm hỗ trợ sinh viên trong việc tìm kiếm thực tập, cụ thể Trường có trang https://vieclam.uet.vnu.edu.vn/ dùng để tìm kiếm việc làm cũng như cung cấp một số công cụ cho việc viết CV xin việcXét tuyển theo kết quả thi THPT năm 2025 (bao gồm CCTA quy đổi). Xét tuyển theo SAT, A-LEVEL, ACT. Xét tuyển theo kết quả thi ĐGNL (HSA) do ĐHQGHN tổ chức. Xét tuyển thẳng, ưu tiên xét tuyển (học sinh giỏi quốc gia, quốc tế, tỉnh/thành phố, ...) theo quy định của Bộ GD&ĐT và ĐHQGHN.',
    'passage: Điều 20. Xử lý vi phạm đối với sinh viên 1. Sinh viên có gian lận trong thi, kiểm tra, đánh giá kết quả học tập sẽ bị xử lý kỷ luật đối với từng học phần đã vi phạm theo các quy định của Quy chế thi tốt nghiệp Trung học phổ thông hiện hành do Bộ G iáo dục và Đào tạo ban hành, trừ trường hợp quy định tại k hoản 2 Điều này. 2. Sinh viên thi hộ hoặc nhờ người thi hộ đều bị kỷ luật ở mức đình chỉ học tập 01 năm đối với trường hợp vi phạm lần thứ nhất và buộc thôi học đối với trường hợp vi phạm lần thứ hai. 3. Người học sử dụng hồ sơ, văn bằng, chứng chỉ giả làm điều kiện trúng tuyển hoặc điều kiện tốt nghiệp sẽ bị buộc thôi học; văn bằng tốt nghiệp nếu đã được cấp sẽ bị thu hồi, huỷ bỏ.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 14,400 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 12 tokens mean: 21.53 tokens max: 37 tokens	min: 28 tokens mean: 336.0 tokens max: 512 tokens	min: 0.0 mean: 0.51 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  query: Chứng chỉ nào yêu cầu trình độ B2 để đáp ứng yêu cầu của Trường Đại học Công Nghệ?	passage: Trường Đại học Công Nghệ yêu cầu chuẩn đầu ra đó là sinh viên cần đạt một trong các yêu cầu sau: - IELTS: Điểm tổng >= 5.5. - TOEFL iBT: Điểm >= 72. - Aptis ESOL: Trình độ B2. - Cambridge Exam: + B1 Preliminary: Điểm >= 160. + B2 First: Điểm >= 160. + C1 Advanced: Điểm >= 160. - Các chứng chỉ Business tương tự yêu cầu B2. - VSTEP: Điểm tổng từ 6.0 đến 8.0.	1.0
  query: Ngành CNNN tại Trường ĐHCN có những lợi thế nào về cơ sở vật chất?	passage: Ngành Công nghệ Nông nghiệp (CNNN) đào tạo tại Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội có những điểm khác biệt nổi bật so với các ngành nông nghiệp đào tạo tại các trường, viện khác: Tích hợp công nghệ hiện đại: Sinh viên ngành CNNN tại Trường ĐHCN được đào tạo không chỉ về nông nghiệp mà còn về các công nghệ tiên tiến như công nghệ thông tin, điện tử viễn thông, tự động hóa, công nghệ sinh học và công nghệ nano. Điều này giúp sinh viên có khả năng ứng dụng các công nghệ cao vào sản xuất nông nghiệp, từ trồng trọt, chăn nuôi đến thủy sản. Kết hợp giữa nông nghiệp và công nghệ: Ngành CNNN tại Trường ĐHCN chú trọng đào tạo kỹ sư công nghệ có thể kết hợp giữa các kiến thức về nông nghiệp và các công nghệ tiên tiến để nâng cao hiệu quả sản xuất. Trong khi đó, các ngành nông nghiệp truyền thống tại các trường, viện khác chủ yếu đào tạo các kỹ sư nông nghiệp với phương pháp canh tác truyền thống, ít chú trọng vào ứng dụng công nghệ hiện đại. Cơ sở vật chất hiện đại: Trườn...	1.0
  query: Vai trò của kỹ sư trong lĩnh vực viễn thám là gì?	passage: Chương trình đào tạo Công nghệ hàng không vũ trụ Sinh viên ngành Công nghệ Hàng không Vũ trụ sau khi tốt nghiệp có khả năng tham mưu tư vấn và có năng lực thực hiện nhiệm vụ với tư cách như một kỹ sư trong lĩnh vực Hàng không Vũ trụ, đáp ứng các yêu cầu cao về nghiên cứu và ứng dụng của xã hội. Các kỹ sư này có khả năng làm việc độc lập, tự học, tự nghiên cứu và nâng cao trình độ. Thêm vào đó, họ có khả năng thích nghi cao với sự phát triển nhanh chóng của ngành Công nghệ Hàng không Vũ trụ. Các vị trí công tác có thể đảm nhận: - Kỹ sư thiết kế, chế tạo các thiết bị bay, vệ tinh; - Kỹ sư vận hành, bảo dưỡng thiết bị bay; - Kỹ sư thiết kế, lập trình các hệ thống điều khiển, hệ thống nhúng; - Kỹ sư xây dựng hệ thống giám sát không gian, xử lý ảnh viễn thám.	1.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.2778	500	0.1208
0.5556	1000	0.0776
0.8333	1500	0.0609
0.2778	500	0.0582
0.5556	1000	0.0502
0.8333	1500	0.0467
0.2778	500	0.028
0.5556	1000	0.0265
0.8333	1500	0.0314

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}