---
language:
- ru
license: mit
library_name: transformers
pipeline_tag: text-generation
tags:
- text-generation
- chat
- russian
- transformer
- pytorch
- easyformer
- custom_code
- conversational
datasets:
- custom
model_type: transformer
base_model: OpenRussianAI/andrey
---

# Andrey — EasyFormer 1M

Лёгкий русскоязычный чат-бот на архитектуре EasyFormer.
Упрощённый decoder-only Transformer, ~1.5M параметров.

## О модели

Andrey — компактный русскоязычный чат-бот на собственной архитектуре EasyFormer.
Снаружи — классический decoder-only Transformer, внутри — упрощения для скорости:
single-head attention, RMSNorm, FFN×2, weight tying.

Модель обучается за минуты на CPU, помещается в 15 MB, работает на любом устройстве.

## Архитектура

| Параметр | Значение |
|---|---|
| Тип | decoder-only Transformer |
| Параметров | ~1.5M |
| Слоёв | 5 |
| d_model | 192 |
| Голов | 1 (single-head) |
| FFN | ×2, ReLU |
| Нормализация | RMSNorm |
| Контекст | 128 токенов |
| Токенизатор | char-level, 64 символа |
| Weight tying | lm_head ↔ tok_emb |

## Быстрый старт

```bash
pip install transformers torch huggingface_hub
```

```python
import json, torch
from transformers import AutoModelForCausalLM
from huggingface_hub import hf_hub_download

REPO = "OpenRussianAI/andrey"

model = AutoModelForCausalLM.from_pretrained(
    REPO,
    trust_remote_code=True,
    dtype=torch.float32,
).eval()

d = json.load(open(hf_hub_download(REPO, "tokenizer.json"), encoding="utf-8"))
stoi, itos = d["stoi"], {int(k): v for k, v in d["itos"].items()}
enc = lambda s: [stoi[c] for c in s if c in stoi]
dec = lambda ids: "".join(itos[i] for i in ids)

def ask(q, max_new=40, temp=0.6, top_k=20):
    ids = torch.tensor([enc(f"User: {q}\nBot:")], dtype=torch.long)
    out = model.generate(ids, max_new_tokens=max_new, do_sample=True,
                         temperature=temp, top_k=top_k)
    text = dec(out[0].tolist())
    return text.split("Bot:", 1)[-1].split("User:", 1)[0].strip()

print(ask("привет"))
```

## Примеры диалогов

```
User: привет
Bot:  привет, рад тебя видеть

User: как дела
Bot:  хорошо, готов помочь

User: кто ты
Bot:  я лёгкий чат-бот на EasyFormer

User: что умеешь
Bot:  поддерживать простой разговор

User: ты работаешь на цп
Bot:  да, я работаю на процессоре

User: сколько у тебя параметров
Bot:  около миллиона

User: пока
Bot:  до встречи
```

## Обучение

| Параметр | Значение |
|---|---|
| Диалогов | 500+ |
| Токенов | ~7 000 |
| Эпох | 150 |
| Батч | 32 |
| Оптимизатор | AdamW, lr=3e-3 |
| Устройство | Tesla T4 (CUDA) |
| Время | 5 минут ради ускорений |
| Финальный loss | 0.042 |

## Структура репо

```
OpenRussianAI/andrey/
├── README.md
├── config.json
├── configuration_easyformer.py
├── modeling_easyformer.py
├── pytorch_model.bin
└── tokenizer.json
```

## Ограничения

- С матешей плоховато
- Это не слово из датасета = мусор

## Лицензия

MIT

## Сайт Easyformer
https://sites.google.com/view/easyformer/home