AI‑агенты для не‑технаря

Урок 6. Качество: как сделать агента, который нравится пользователям#

Цель: понять, что делает агента «хорошим» с точки зрения пользователя.

Критерии качества агента#

1. Полезность

Агент решает реальную задачу пользователя.

Плохо:
«Бот приветствует пользователя, но ничего не делает дальше».

Хорошо:
«Бот помогает найти товар, оформить заказ, ответить на вопрос».

2. Скорость

Агент отвечает быстро (менее 5 секунд для текста).

Плохо:
Пользователь ждёт 30 секунд → уходит.

Хорошо:
Агент отвечает за 2–3 секунды → пользователь доволен.

3. Понятность

Агент общается на языке пользователя, без жаргона.

Плохо:
«Произошла ошибка 500. Stack trace: ...»

Хорошо:
«Извините, сейчас сервис временно недоступен. Попробуйте через 5 минут.»

4. Надёжность

Агент не падает, не теряет данные, не выдаёт ошибок.

Плохо:
Каждый второй запрос завершается с ошибкой.

Хорошо:
99% запросов выполняются успешно.

5. Персонализация

Агент обращается по имени, помнит контекст, предлагает релевантное.

Плохо:
«Здравствуйте, пользователь. Чем могу помочь?»

Хорошо:
«Здравствуйте, Иван! Вы спрашивали о возврате. Вот инструкция.»

Как измерить качество#

Метрики качества:

CSAT (Customer Satisfaction Score) — удовлетворённость пользователей

Вопрос: «Оцените, насколько вам помог агент (от 1 до 5)»

Цель: средняя оценка > 4.0
Resolution Rate — процент запросов, решённых агентом

Формула: (Количество решённых запросов / Общее количество запросов) × 100%

Цель: > 80%
Escalation Rate — процент запросов, переданных оператору

Формула: (Количество переданных оператору / Общее количество запросов) × 100%

Цель: < 20%
Average Handling Time — среднее время обработки запроса

Цель: < 5 секунд

Как улучшить качество#

1. Собирайте обратную связь

После общения с агентом спросите:

«Оцените, насколько вам помог бот (1–5 звёзд)»
«Что можно улучшить?» (текстовое поле)

Реализация:

в конце диалога отправьте сообщение: «Оцените мою работу: ⭐️ ⭐️⭐️ ⭐️⭐️⭐️ ⭐️⭐️⭐️⭐️ ⭐️⭐️⭐️⭐️⭐️»
сохраняйте оценку в Google Sheets
раз в неделю смотрите средний CSAT

2. Анализируйте запросы, которые агент не понял

логируйте все запросы, на которые агент ответил: «Я не понял»
раз в неделю просматривайте эти запросы
добавляйте новые сценарии / вопросы в базу знаний

3. Оптимизируйте скорость

используйте кеширование (если данные не меняются часто)
используйте более быстрые модели (GPT-4o mini вместо GPT-5, или китайские модели)
удалите лишние шаги в workflow

4. Улучшайте промпты

если агент отвечает невпопад → улучшите промпт (добавьте примеры, уточните роль)
тестируйте разные варианты промптов и выбирайте лучший

5. Добавляйте персонализацию

сохраняйте имя пользователя (спросите в начале диалога)
сохраняйте историю запросов (если пользователь возвращается → покажите контекст)
предлагайте релевантные действия (на основе предыдущих запросов)

Практика#

Практическое задание 1: создать чек-лист безопасности#

Задача: создать чек-лист для проверки безопасности вашего агента.

Требования:

используйте шаблон из Урока 1 (Безопасность ПД)
добавьте пункты по логированию, мониторингу, отказоустойчивости
адаптируйте под ваш проект (уберите неактуальное, добавьте специфичное)

Формат: Google Docs, Notion, или PDF.

Чек-лист:

Практическое задание 2: настроить логирование для вашего агента#

Задача: добавить логирование в ваш агент (из предыдущих модулей).

Требования:

создайте таблицу «Логи» в Google Sheets или Airtable
добавьте поля: Timestamp, UserID, Action, Details, Status, ErrorMessage
настройте workflow так, чтобы каждое важное действие логировалось

Чек-лист:

Таблица «Логи» создана
Поля добавлены
Логирование входящих запросов настроено
Логирование действий агента настроено
Логирование ошибок настроено
Тестирование: отправлен запрос → запись появилась в таблице

Практическое задание 3: настроить мониторинг#

Задача: настроить мониторинг для вашего агента.

Вариант 1 (простой):

используйте встроенные уведомления платформы (Zapier Email Alerts, n8n Error Workflow)
настройте уведомление в Telegram при ошибке

Вариант 2 (продвинутый):

используйте UptimeRobot для мониторинга доступности webhook
настройте workflow для проверки количества ошибок в час (если ошибок > 10 → уведомление)

Чек-лист:

Мониторинг настроен
Уведомления в Telegram / Email работают
Тестирование: создана искусственная ошибка → получено уведомление

Бонусное задание: Практика в n8n — Error Workflow и мониторинг#

Задача:
Создайте в n8n Error Workflow, который будет отслеживать ошибки во всех ваших workflow и отправлять уведомления.

Что сделать:

Создайте Error Workflow в n8n:
- Откройте n8n
- Создайте новый workflow: «Error Handler»
- Добавьте узел Error Trigger
Добавьте обработку ошибок:
- Узел 1: Error Trigger (срабатывает при любой ошибке)
- Узел 2: Set (извлечь данные об ошибке):
  - workflow_name: {{ $json.workflow.name }}
  - error_message: {{ $json.error.message }}
  - timestamp: {{ $now }}
- Узел 3: IF (проверить тип ошибки):
  - Если ошибка содержит "Rate limit" → ветка A (подождать и повторить)
  - Иначе → ветка B (уведомить администратора)
Ветка A: Retry при Rate Limit
- Узел: Function (подождать 60 секунд)
- Узел: Webhook (отправить сигнал для повтора, если возможно)
Ветка B: Уведомление администратора
- Узел: Telegram → Send Message
- Chat ID: ваш ID
- Text: `⚠️ Ошибка в workflow "{{ $json.workflow_name }}"

Описание: {{ $json.error_message }}

Время: {{ $json.timestamp }}`

Добавьте логирование в Google Sheets:
- Узел: Google Sheets → Append
- Таблица: «Логи ошибок»
- Данные: Timestamp, Workflow Name, Error Message
Сохраните и активируйте:
- Save → Active ON
Протестируйте:
- Создайте тестовый workflow с искусственной ошибкой (например, HTTP Request к несуществующему URL)
- Запустите workflow → должна сработать ошибка
- Проверьте: получили уведомление в Telegram? Запись появилась в Google Sheets?