YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
BerryLM Wildberries & Russ
Модели и данные Базовая модель Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации.
Датасет Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth.
Метод DAPO с Reward Hacking Prevention Применяется метод один из модификаций GRPO.
Cистема из 2 reward-функций, направленная на предотвращение reward hacking (эксплуатации слабостей reward-сигнала):
- Reasoning Compression
- Languange Answer Correctenss
Архитектура обучения Обучение организовано в распределённом режиме:
Training ноды: MegatronLM Generation нода: отдельный vLLM сервер для генерации кандидатов через HTTP API Correction post training
Авторы:
- Сапрыкин Матвей
- Софронов Юрий
- Костылев Александр
- Чанышев Дамир
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support