Embedding-модели преобразуют текст в числовые векторы, которые используются для семантического поиска, кластеризации, рекомендаций и RAG-систем. В 2025 году рынок предлагает десятки моделей — от коммерческих (OpenAI, Cohere, Voyage) до open-source (BGE, E5, GTE). Разберём ключевые отличия.
Сравнительная таблица embedding-моделей
| Модель | Размерность | MTEB Avg | Retrieval | Цена ($/1M tok) | Макс. длина |
|---|---|---|---|---|---|
| text-embedding-3-large | 3072 | 64.6 | 55.4 | $0.13 | 8191 |
| text-embedding-3-small | 1536 | 62.3 | 51.7 | $0.02 | 8191 |
| embed-v4 (Cohere) | 1024 | 66.3 | 57.1 | $0.10 | 512 |
| voyage-large-2 | 1536 | 65.4 | 56.8 | $0.12 | 16000 |
| bge-large-en-v1.5 | 1024 | 63.6 | 53.9 | Бесплатно* | 512 |
| e5-large-v2 | 1024 | 62.7 | 52.1 | Бесплатно* | 512 |
| gte-large-en-v1.5 | 1024 | 63.1 | 53.2 | Бесплатно* | 8192 |
* Self-hosted, без учёта стоимости GPU-инфраструктуры
OpenAI text-embedding-3: универсальный стандарт
OpenAI предлагает две версии embedding-модели:
- text-embedding-3-large — для задач, где важна максимальная точность (enterprise search, RAG для медицины/юриспруденции)
- text-embedding-3-small — для массовых задач, где важна экономия (каталоги товаров, базовый поиск)
Уникальная фича OpenAI — поддержка Matryoshka embedding: можно уменьшить размерность вектора (например, с 3072 до 256) без значительной потери качества. Это сокращает хранилище и ускоряет поиск.
from openai import OpenAI
client = OpenAI(
base_url="https://api.modelswitch.ru/v1",
api_key="msk_ваш_ключ"
)
# Полноразмерный embedding
full = client.embeddings.create(
model="text-embedding-3-large",
input="Семантический поиск по документам",
dimensions=3072 # Полная размерность
)
# Уменьшенный embedding (в 12 раз компактнее, ~95% качества)
compact = client.embeddings.create(
model="text-embedding-3-large",
input="Семантический поиск по документам",
dimensions=256 # Matryoshka — сокращённая размерность
)Cohere embed-v4: лидер по качеству
Cohere embed-v4 показывает лучшие результаты на бенчмарке MTEB, особенно в задачах retrieval. Главные преимущества:
- Лучшая точность на MTEB Retrieval (+1.7 пункта vs OpenAI large)
- Поддержка input types — отдельные режимы для запросов (search_query) и документов (search_document)
- Хорошая мультиязычность, включая русский
Ограничение: максимальная длина входа всего 512 токенов (vs 8191 у OpenAI). Для длинных документов требуется чанкинг.
Open-source: BGE, E5, GTE
Open-source модели — хороший выбор при ограниченном бюджете или требованиях к приватности:
| Критерий | Коммерческие API | Open-source (self-hosted) |
|---|---|---|
| Качество | Выше на 2-5% | Хорошее, приемлемое для большинства задач |
| Стоимость (10M запросов/мес) | $200-1,300 | $500-2,000 (GPU-инфраструктура) |
| Приватность | Данные уходят к провайдеру | Данные внутри периметра |
| Обслуживание | Ноль (managed) | Требует DevOps/MLOps |
| Масштабируемость | Автоматическая | Ручная (горизонтальное масштабирование) |
Рекомендации: какую embedding-модель выбрать
| Сценарий | Рекомендация |
|---|---|
| Общий семантический поиск | text-embedding-3-large (OpenAI) |
| Массовый поиск (каталог, FAQ) | text-embedding-3-small (OpenAI) |
| Максимальная точность retrieval | embed-v4 (Cohere) |
| Длинные документы | voyage-large-2 (макс. 16K) |
| Приватность / self-hosted | bge-large-en-v1.5 |
| Минимальный бюджет | text-embedding-3-small ($0.02/1M) |
Через ModelSwitch доступны все коммерческие embedding-модели по единому API. Один ключ для OpenAI, Cohere и Voyage — без отдельных аккаунтов у каждого провайдера.