AI‑агенты для не‑технаря

Урок 6. Тестирование и улучшение#

Зачем это нужно#

Первая версия бота почти всегда несовершенна. Важно тестировать, собирать обратную связь и улучшать.

Ключевая идея#

Итерации: запуск → тест → правки → повтор

Лучше запустить простую версию быстро, чем ждать "идеального" бота.

Тестовые сценарии#

Создайте 10–15 типовых запросов:

Категория 1: Простые вопросы

"Сколько стоит стрижка?"
"Какой режим работы?"
"Где вы находитесь?"

Категория 2: Запросы без ответа в базе

"Когда у вас скидки?" (если нет акций)
"Сколько стоит массаж?" (если не оказываете)

Категория 3: Эмоциональные запросы

"Я недовольна качеством услуги!"
"Вы мошенники, верните деньги!"

Категория 4: Нечёткие запросы

"Хочу к вам" (не указал, на что)
"Запишите на завтра" (не указал время)

Категория 5: Действия

"Хочу записаться на маникюр"
"Отмените мою запись"

Критерии качества#

✅ Хорошо:

ответ правильный и полный
тон вежливый
не придумал данных
уточнил, если нужно
использовал инструмент, если нужно

❌ Плохо:

ответ неправильный или неполный
грубый тон
галлюцинация (придумал)
не уточнил
не использовал инструмент

Типичные проблемы и решения#

Проблема 1: Бот не находит ответ в базе знаний

Решение:

Переформулируйте вопрос-ответ в базе
Добавьте синонимы
Увеличьте объём текста в базе

Проблема 2: Бот придумывает данные

Решение:

Усильте ограничение в промпте: "Используй ТОЛЬКО базу знаний. Если ответа нет, скажи: 'Не нашёл информации, уточню у администратора'"

Проблема 3: Бот не задаёт уточняющие вопросы

Решение:

Добавьте в промпт: "Если клиент не указал [параметр], ОБЯЗАТЕЛЬНО уточни"

Проблема 4: Бот слишком многословный

Решение:

Добавьте в промпт: "Отвечай кратко, 2–3 предложения"

Сбор обратной связи#

Первая неделя: тестируйте сами и с командой

Вторая неделя: запуск для клиентов

Каждую неделю:

просматривайте диалоги (Coze сохраняет логи)
ищите ошибки и паттерны
улучшайте промпт и базу знаний

Метрики:

сколько запросов обработал бот
сколько раз передал человеку
типовые вопросы без ответа → добавить в базу

Практика: Создание двух агентов#

Агент 1: FAQ-бот для услуги#

Задача: создать бота, который отвечает на частые вопросы

Шаги:

Выберите нишу (салон, магазин, агентство, школа, etc.)
Соберите FAQ: 10–20 частых вопросов и ответов
Создайте бота в Coze
Напишите промпт (роль + задача + правила)
Создайте базу знаний (Text) и добавьте FAQ
Протестируйте на 10 запросах
Опубликуйте в Telegram
Поделитесь ссылкой (для портфолио)

Пример FAQ:

Вопрос: Какие услуги вы оказываете?
Ответ: Мы занимаемся разработкой сайтов, настройкой рекламы в Яндекс и Google, SMM и дизайном.

Вопрос: Сколько стоит сайт?
Ответ: Сайт-визитка — от 30 000 руб., интернет-магазин — от 80 000 руб. Точная цена зависит от требований.

Вопрос: Как с вами связаться?
Ответ: Напишите в Telegram @agency или на почту hello@agency.ru.

... (ещё 7–17 вопросов)

Агент 2: Квалификация заявок#

Задача: создать бота, который задаёт вопросы и оценивает лид

Шаги:

Определите вопросы для квалификации (задача, бюджет, сроки)
Создайте бота в Coze
Напишите промпт с логикой квалификации (см. урок 2)
Подключите Google Sheets (опционально, для записи данных)
Протестируйте на 5–7 сценариях
Опубликуйте в Telegram

Пример промпта:

Ты — помощник менеджера по продажам digital-агентства.

Твоя задача: задай клиенту 3 вопроса и оцени лид.

Вопросы:
1. Какая задача? (сайт, реклама, SMM, дизайн, другое)
2. Есть ли бюджет? (до 50 тыс., 50–200 тыс., 200 тыс. и выше)
3. Когда нужно? (срочно — до 2 недель, в течение месяца, планируем)

Оценка:
- Горячий: бюджет 200+ тыс., срочно
- Тёплый: бюджет 50–200 тыс., в течение месяца
- Холодный: остальные

Формат:
- Задавай вопросы по очереди
- После всех ответов выведи: "Оценка лида: [оценка]"
- Если горячий или тёплый, скажи: "Передаю менеджеру, свяжется в течение часа"

Правила:
- Тон деловой, дружелюбный
- Если клиент не хочет отвечать, переходи к следующему вопросу

Шаблоны и артефакты#

Шаблон роли агента#

Ты — [роль, например: "ассистент салона красоты"].

Твоя задача: [что делать, например: "отвечай на вопросы и помогай записаться"].

Правила:
- [правило 1]
- [правило 2]
- [правило 3]

Формат ответов:
- [как отвечать]

Ограничения:
- [что нельзя]

Шаблон FAQ-базы#

Вопрос: [вопрос 1]
Ответ: [ответ 1]

Вопрос: [вопрос 2]
Ответ: [ответ 2]

... (10–20 пар)

Чек-лист тестирования#

Простые вопросы из базы — отвечает правильно?
Вопросы НЕ из базы — говорит "не знаю"?
Похожие вопросы (другими словами) — находит ответ?
Нечёткие запросы — уточняет?
Эмоциональные запросы — вежливый?
Действия (запись, отправка) — выполняет?
Не придумывает данных?
Тон подходящий?

Проверочные вопросы#

Что такое роль агента и зачем она нужна?
Почему база знаний важнее "умного текста"?
Какие действия считаются безопасными для первого агента?
Как тестировать агента без клиентов?
Какие ошибки встречаются чаще всего?
Что такое "ограничение ответа"?
Как понять, что агент даёт эффект?
Когда публиковать агента в канал?

Правильные ответы:

Роль задаёт контекст и стиль работы агента (например, "ассистент салона" или "менеджер по продажам")
База знаний даёт факты, без неё агент опирается на общие знания и может ошибаться
Ответы на вопросы, запись простых данных, уведомления
Создать набор типовых запросов (10–20) и протестировать вручную
Галлюцинации (придумывание данных), неправильное понимание запроса, отсутствие уточнений
Правило для агента: "что можно и что нельзя делать/говорить"
По метрикам: экономия времени, снижение обращений, рост конверсии
Когда протестирован на 10+ запросах и работает стабильно