Update README.md
Browse files
README.md
CHANGED
|
@@ -1,14 +1,56 @@
|
|
| 1 |
---
|
| 2 |
-
license: cc
|
| 3 |
language:
|
| 4 |
- pt
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
|
| 7 |
-
|
| 8 |
|
| 9 |
-
|
| 10 |
|
| 11 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 12 |
|-----------------------------|-------|--------------------------|------|----------------------|------|
|
| 13 |
|assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
|
| 14 |
| |acc |0.9093 |0.0041|0.9036 |0.0042|
|
|
@@ -24,3 +66,4 @@ Evals
|
|
| 24 |
|oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
|
| 25 |
|portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
|
| 26 |
| |acc |0.5993 |0.0119|0.5993 |0.0119|
|
|
|
|
|
|
| 1 |
---
|
|
|
|
| 2 |
language:
|
| 3 |
- pt
|
| 4 |
+
- en
|
| 5 |
+
license: cc-by-nc-2.0
|
| 6 |
+
tags:
|
| 7 |
+
- text-generation-inference
|
| 8 |
+
- transformers
|
| 9 |
+
- llama
|
| 10 |
+
- gguf
|
| 11 |
+
- brazil
|
| 12 |
+
- brasil
|
| 13 |
+
- 8b
|
| 14 |
+
- portuguese
|
| 15 |
+
base_model: meta-llama/Meta-Llama-3-8B-Instruct
|
| 16 |
+
pipeline_tag: text-generation
|
| 17 |
+
|
| 18 |
---
|
| 19 |
+
# Cabra Llama-3 8B
|
| 20 |
+
<img src="https://uploads-ssl.webflow.com/65f77c0240ae1c68f8192771/6627fb36d544dd8ea250136a_llama38b.png" width="300" height="300">
|
| 21 |
+
|
| 22 |
+
Cabra Llama-3 8b é um finetune do [Meta-Llama-3-8B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct) com o dataset Cabra 30k. Esse modelo é otimizado para português e responde em portuguese.
|
| 23 |
+
|
| 24 |
+
**Conheça os nossos outros [modelos Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
|
| 25 |
+
|
| 26 |
+
## Detalhes do modelo base
|
| 27 |
+
|
| 28 |
+
### Modelo: Meta-Llama-3-8B-Instruct
|
| 29 |
+
|
| 30 |
+
|
| 31 |
+
A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.
|
| 32 |
+
|
| 33 |
+
Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.
|
| 34 |
|
| 35 |
+
### dataset: Cabra 30k
|
| 36 |
|
| 37 |
+
Dataset interno para fine-tuning. Vamos lançar em breve.
|
| 38 |
|
| 39 |
+
### Quantização / GGUF
|
| 40 |
+
|
| 41 |
+
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
|
| 42 |
+
|
| 43 |
+
## Uso
|
| 44 |
+
O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
|
| 45 |
+
|
| 46 |
+
- Pesquisa sobre modelos gerativos.
|
| 47 |
+
- Investigação e compreensão das limitações e vieses de modelos gerativos.
|
| 48 |
+
|
| 49 |
+
**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **
|
| 50 |
+
|
| 51 |
+
### Avaliações / Evals
|
| 52 |
+
|
| 53 |
+
| Tasks |Metric |LLAMA3 Base Instruct Value|Stderr|Finetune Cabra Value|Stderr|
|
| 54 |
|-----------------------------|-------|--------------------------|------|----------------------|------|
|
| 55 |
|assin2_rte |f1_macro|0.9091 |0.0041|0.9036 |0.0042|
|
| 56 |
| |acc |0.9093 |0.0041|0.9036 |0.0042|
|
|
|
|
| 66 |
|oab_exams |acc |0.5062 |0.0062|0.4911 |0.0062|
|
| 67 |
|portuguese_hate_speech_binary|f1_macro|0.5982 |0.0120|0.5954 |0.0120|
|
| 68 |
| |acc |0.5993 |0.0119|0.5993 |0.0119|
|
| 69 |
+
|