Суммаризация текста — одна из самых массовых задач для LLM в бизнесе. Новости, отчёты, письма, документация, протоколы встреч — объём текста растёт, а время на чтение ограничено. Разберём, какие модели справляются с суммаризацией лучше всего и сколько это стоит.
Сравнение качества суммаризации
Мы протестировали 6 моделей на 100 текстах различной длины (от 500 до 50 000 слов), оценивая по трём критериям:
| Модель | Полнота (1-10) | Точность (1-10) | Краткость (1-10) | Средний балл | Цена ($/1K суммаризаций)* |
|---|---|---|---|---|---|
| Claude 3.5 Sonnet | 9.3 | 9.5 | 8.8 | 9.2 | $1.65 |
| GPT-4o | 9.0 | 9.2 | 9.0 | 9.1 | $1.25 |
| Gemini 2.0 Pro | 8.8 | 8.9 | 8.5 | 8.7 | $0.63 |
| GPT-4o-mini | 8.2 | 8.5 | 8.7 | 8.5 | $0.08 |
| Claude 3 Haiku | 8.0 | 8.3 | 8.4 | 8.2 | $0.13 |
| Gemini 2.0 Flash | 7.8 | 8.0 | 8.1 | 8.0 | $0.05 |
* Средний текст 3000 слов (~4K токенов), саммари ~300 слов (~400 токенов)
Типы суммаризации и подходящие модели
Суммаризация бывает разных видов, и для каждого оптимальна своя модель:
- Extractive (извлечение ключевых предложений) — GPT-4o-mini отлично справляется, нет смысла платить за флагман
- Abstractive (перефразирование своими словами) — Claude 3.5 Sonnet даёт самые качественные пересказы
- Multi-document (суммаризация нескольких документов) — Gemini 2.0 Pro благодаря контексту 2M токенов
- Structured (суммаризация в заданный формат) — GPT-4o с JSON mode для гарантированной структуры
Оптимизация промптов для суммаризации
from openai import OpenAI
client = OpenAI(
base_url="https://api.modelswitch.ru/v1",
api_key="msk_ваш_ключ"
)
# Базовый промпт — OK для простых текстов
basic = client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": "Ты создаёшь краткие, точные резюме текстов."},
{"role": "user", "content": f"Сделай краткое резюме (3-5 предложений):\n\n{text}"}
],
temperature=0.3
)
# Продвинутый промпт — для сложных документов
advanced = client.chat.completions.create(
model="claude-3.5-sonnet",
messages=[
{"role": "system", "content": """Ты — эксперт по суммаризации.
Структура резюме:
1. Главная идея (1 предложение)
2. Ключевые факты (3-5 буллетов)
3. Выводы / следующие шаги (1-2 предложения)
Не додумывай информацию, которой нет в тексте."""},
{"role": "user", "content": f"Создай структурированное резюме:\n\n{text}"}
],
temperature=0.2
)Рекомендации по выбору
| Задача | Модель | Стоимость |
|---|---|---|
| Массовая суммаризация новостей | GPT-4o-mini / Gemini Flash | $0.05-0.08 / 1K |
| Суммаризация договоров / юр. документов | Claude 3.5 Sonnet | $1.65 / 1K |
| Протоколы встреч | GPT-4o-mini | $0.08 / 1K |
| Суммаризация книг / длинных отчётов | Gemini 2.0 Pro | $0.63 / 1K |
| Мультиязычная суммаризация | GPT-4o | $1.25 / 1K |
Для большинства бизнес-задач GPT-4o-mini — оптимальный выбор: качество суммаризации 8.5/10 при стоимости в 15-20 раз ниже флагманских моделей. Через ModelSwitch вы можете легко переключаться между моделями и выбирать оптимальную для каждого типа контента.