recogna-nlp/phi-bode-2-ultraalpaca

Phi-Bode

Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-2B fornecido pela Microsoft. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.

Características Principais

• Modelo Base: Phi-2B, criado pela Microsoft, com 2.7 bilhões de parâmetros.
• Dataset para Fine-tuning: UltraAlpaca
• Treinamento: O treinamento foi realizado a partir do fine-tuning completo do phi-2.

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here

Metric	Value
Average	39.89
ENEM Challenge (No Images)	38.35
BLUEX (No Images)	25.17
OAB Exams	29.61
Assin2 RTE	45.39
Assin2 STS	24.43
FaQuAD NLI	43.97
HateBR Binary	54.15
PT Hate Speech Binary	54.59
tweetSentBR	43.34