| --- |
| license: apache-2.0 |
| datasets: |
| - wikimedia/wikipedia |
| --- |
| |
| # FractalGPT/EmbedderDecoder |
|
|
| * **Оригинальная модель** |
| [[ai-forever/rugpt3small_based_on_gpt2](https://huggingface.co/ai-forever/rugpt3small_based_on_gpt2)] |
|
|
| * **Код генерации вдохновлен этим проектом** |
| [[vector2text](https://github.com/Koziev/vector2text)] |
|
|
| * Заменен эмбеддер |
| * Добавлена возможность задать промпт |
| * Вместо нулей вектор дополняется квадратами чисел (далее можно кубами и т.д.) |
| * Создан класс для генератора |
| * Добавлен ранжировщик |
| * Заменена модель вместо large — small |
| * Убран top_p |
| * Добавлен расчет среднего эмбеддинга (для ранжировщика в случае работы с массивом) |
| * Добавлена работа с матрицами эмбеддингов |
| * Добавлены 2 новых способа смеси эмбеддингов: |
| * Эмбеддинги в первой степени из одного текста, а квадраты из другого(в эмбеддинги и их квадраты также можно включать разную по структуре информацию) |
| * Передавать массив эмбеддингов и их квадратов |
| |
| * **Пример использования** |
| |
| |
| ```python |
| import torch |
| import numpy as np |
| from torch.nn import functional as F |
| from transformers import GPT2Tokenizer, GPT2LMHeadModel |
| |
| def top_filtering(logits, top_k): |
| """ |
| Фильтрация top-k, в фильтрации top-p в этой задаче особо смысла нет |
| код с top-p: https://github.com/ictnlp/DSTC8-AVSD/blob/master/generate.py |
| """ |
| assert logits.dim() == 1 |
| top_k = min(top_k, logits.size(-1)) |
| if top_k > 0: |
| indices_to_remove = logits < torch.topk(logits, top_k)[0][..., -1, None] |
| logits[indices_to_remove] = -float('Inf') |
| |
| return logits |
| |
|
|
| class TextEmbdGenerator: |
| def __init__(self, name_or_path, sbert, device = None): |
| """ |
| Инициализация генератора текста с моделью и токенизатором. |
| name_or_path: путь до модели токенизатора или ее имя для загрузки из Hugging Face. |
| sbert: модель для ранжирования (такая же что и создает эбеддинги) |
| """ |
| self.device = device |
| |
| if self.device == None: |
| self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu") |
| |
|
|
| self.tokenizer = GPT2Tokenizer.from_pretrained(name_or_path) |
| self.model = GPT2LMHeadModel.from_pretrained(name_or_path).to(self.device) |
| self.sbert = sbert |
| |
|
|
| def __get_embds(self, embds, sqr_embds): |
| '''Работает с матрицей эмбеддингов''' |
| list_emb = [] |
| sq = embds if sqr_embds == None else sqr_embds |
| |
| for i, embd in enumerate(embds): |
| vector = np.concatenate([embd,sq[i]**2]) |
| list_emb.append(list(vector)) |
| |
| return torch.FloatTensor(list_emb).to(self.device) |
| |
| def __det_mean(self, embds): |
| '''Получение среднего''' |
| m = np.zeros((384)) |
| |
| for embd in embds: |
| m += embd |
| |
| m /= len(embds) |
| return m |
| |
| def generate_embedding(self, embds, prompt = '', sqr_embds = None, temperature=0.26, top_k=4, max_len=100): |
| """ |
| Генерация текста на основе начального эмбеддинга и заданного начального текста. |
| """ |
| |
| current_output_ids = self.tokenizer.encode(prompt) # Промпт |
| embedding = self.__get_embds(embds, sqr_embds) # Матрица входа |
| word_tokens = self.model.base_model.wte # Словарь токенов |
| |
| while len(current_output_ids) < max_len: |
| with torch.no_grad(): |
| outp_ids_tensor = torch.LongTensor(current_output_ids).to(self.device) # Выходы |
| token_embeddings = word_tokens(outp_ids_tensor) # эмбеддинги |
| input_vectors = torch.vstack((embedding, token_embeddings)).unsqueeze(dim=0) |
| output_model = self.model(inputs_embeds=input_vectors) |
| |
| logits = output_model.logits |
| if isinstance(logits, tuple): |
| logits = logits[0] |
| logits = logits[0, -1, :] |
| logits /= temperature |
| logits = top_filtering(logits, top_k) |
| probs = F.softmax(logits, dim=-1) |
| |
| prev = torch.multinomial(probs, 1) |
| if prev.item() == self.tokenizer.eos_token_id: |
| break |
| current_output_ids.append(prev.item()) |
| |
| output_text = self.tokenizer.decode(current_output_ids) |
| return output_text.split('\n')[0] |
| |
|
|
| def cosine_similarity(self, x, y): |
| """Вычисление косинусного сходства.""" |
| return np.dot(x, y) / (np.linalg.norm(x) * np.linalg.norm(y)) |
| |
| def generate_with_ranker(self, embds, prompt = '', sqr_embds = None, seq=10, temperature=0.6, top_k=10, max_len=100): |
| """Генерация и ранжирование текста. Поумолчанию создаются 10 текстов""" |
| sequences = [self.generate_embedding(embds, prompt, sqr_embds, temperature, top_k, max_len) for _ in range(seq)] |
| sequences = list(set(sequences)) # Удаление дубликатов |
| |
| # Ранжирование |
| embd = self.__det_mean(embds) |
| embeddings = self.sbert.encode(sequences) |
| similarities = [self.cosine_similarity(embd, emb) for emb in embeddings] |
| best_index = np.argmax(similarities) |
| |
| return sequences[best_index] |
| ``` |
| |
| --- |
|
|
| ```bash |
| pip install sentence-transformers -q |
| ``` |
|
|
| ```python |
| from sentence_transformers import SentenceTransformer |
| |
| sbert = SentenceTransformer('FractalGPT/SbertDistil') |
| generator = TextEmbdGenerator('FractalGPT/EmbedderDecoder', sbert) |
| ``` |
|
|
| ```python |
| embd = sbert.encode('там живут англичане') |
| generator.generate_with_ranker([embd]) |
| ``` |
| ```bash |
| >>> я бы его в Англию привез. |
| ``` |
|
|
|
|
| ```python |
| embd = sbert.encode('там живут немцы') |
| generator.generate_with_ranker([embd], prompt = 'он всегда был в') |
| ``` |
| ```bash |
| >>> он всегда был в Германии |
| ``` |
|
|
| ```python |
| embd = sbert.encode('он сделает вывод на основе анализа ситуации') |
| generator.generate_with_ranker(embd) |
| ``` |
| ```bash |
| >>> в процессе анализа ситуации необходимо выяснить: |
| ``` |
|
|
|
|
| ```python |
| embd = sbert.encode('машина') - sbert.encode('колеса') + sbert.encode('крылья') |
| generator.generate_with_ranker([embd], 'это') |
| ``` |
| ```bash |
| >>> этот самолёт |
| ``` |
|
|
| ```python |
| embd = sbert.encode('полицейский - главный герой') + sbert.encode('Произошло ужасное событие в фильме') |
| embd /= 2 |
| generator.generate_with_ranker([embd], 'Собеседование на') |
| ``` |
|
|
| ```bash |
| >>> Собеседование на роль главного героя фильма — молодого лейтенанта полиции — происходит в доме |
| ``` |
|
|
|
|
| **После дообучения** |
|
|
|
|
|
|
| ```python |
| embd_1 = sbert.encode('полицейский - главный герой') |
| embd_2 = sbert.encode('Произошло событие в фильме') |
| |
| generator.generate_with_ranker([embd_1, embd_2], 'В ') |
| ``` |
|
|
| ```bash |
| >>> В этом фильме главный герой - полицейский. |
| ``` |
|
|
| ```python |
| embd_1 = sbert.encode('полицейский - главный герой') |
| embd_2 = sbert.encode('Произошло событие в фильме') |
| |
| generator.generate_with_ranker([embd_1], 'Это', [embd_2]) |
| ``` |
|
|
| ```bash |
| >>> Это полицейский, который в полицейском участке снимается в фильме. |
| ``` |
|
|
| ```python |
| embd = sbert.encode('радиоприемник') |
| ans = vector_answer(embd, 'Как это устроено?') |
| print(ans) |
| ``` |
|
|
| ```bash |
| >>> Радиоволны распространяются в воздухе, создавая электромагнитное поле, которое может быть использовано для передачи информации. |
| ``` |
