Урок 5. Ошибки и защита

Урок 5. Ошибки и защита#

Зачем это нужно#

AI ошибается. Это нормально. Важно знать, где ошибки типичны, и как их предотвратить.

Ключевая идея#

Лучшая защита = правильная настройка + контроль + план Б

Ошибки неизбежны, но их можно минимизировать.

Типы ошибок#

1. Галлюцинации (придумывание фактов)

Что: модель генерирует правдоподобный, но неверный ответ.

Пример: Вопрос: "Когда у вас акция?"
Ответ: "С 15 по 20 марта скидка 30%" ← придумала

Как избежать:

• давать базу знаний
• правило: "Если не знаешь — скажи честно"
• проверять ответы

Промпт: "Если информации нет в базе знаний, ответь: 'Не нашёл точной информации, уточню у менеджера'"

2. Неправильное понимание запроса

Что: клиент пишет нечётко, модель трактует неправильно.

Пример: Клиент: "Запишите на завтра"
Агент: "Хорошо, записал!" ← но не уточнил время

Как избежать:

• учить агента уточнять
• показывать примеры

Промпт: "Если клиент не указал время, обязательно уточни: 'На какое время?'"

3. Чувствительные данные

Что: агент случайно "запоминает" и показывает чужие данные.

Пример: Клиент 1: "Мой заказ №123, телефон +7-999-111-22-33"
Клиент 2: "Какой телефон у заказа №123?"
Агент: "+7-999-111-22-33" ← утечка

Как избежать:

• не хранить чувствительные данные в контексте
• использовать анонимизацию
• настроить правила: "Не раскрывай персональные данные"

4. Неадекватные ответы

Что: агент грубит, шутит неуместно или игнорирует эмоции.

Пример: Клиент: "Я недоволен вашей доставкой!"
Агент: "Извините, но это не моя проблема" ← плохо

Как избежать:

• задать тон в промпте: "Всегда вежливый и сочувствующий"
• показать примеры правильных ответов
• добавить правило: "Если клиент расстроен, извинись и передай менеджеру"

Правила защиты#

1. Ограничения в промпте

Правила:
- Отвечай только на основе базы знаний
- Если не знаешь — скажи: "Уточню у менеджера"
- Не придумывай цены, даты, условия
- Не раскрывай чужие данные
- Если клиент агрессивен, вежливо передай менеджеру

2. Тестовый набор запросов

Создайте 10–20 типовых запросов и проверьте, как агент отвечает.

Примеры:

• "Сколько стоит доставка?"
• "Когда у вас акция?" (если акции нет)
• "Запишите меня на завтра" (без времени)
• "Я хочу вернуть товар, вы мошенники!" (эмоциональный)

Критерии:

• ответ правильный?
• тон вежливый?
• не придумал данных?
• уточнил, если нужно?

3. Мониторинг и логи

Сохраняйте все диалоги агента. Раз в неделю:

• просматривайте ошибки
• ищите паттерны
• улучшайте промпт и базу знаний

4. План Б (эскалация)

Всегда должна быть кнопка "связаться с человеком".

Когда передавать:

• агент не понял запрос
• клиент недоволен
• задача сложная

Пример: "Извините, не могу точно ответить на ваш вопрос. Переключаю на менеджера."

Чек-лист безопасности#

• Промпт содержит правила ограничений
• Есть база знаний (агент не полагается на "общие знания")
• Протестировано на 10+ запросах
• Есть кнопка "связаться с человеком"
• Логируются все диалоги
• Не передаются чувствительные данные без защиты

Проверьте себя#

1. Какие типы ошибок бывают у агентов?
2. Что такое галлюцинация и как её избежать?
3. Зачем нужен тестовый набор запросов?
4. Что такое план Б и когда он нужен?

Практика модуля 2#

Задание 1: Три версии промпта#

Возьмите одну задачу (например, "ответить клиенту на вопрос о доставке") и напишите три версии промпта:

1. Базовая (минимум информации)
2. Средняя (добавили контекст)
3. Полная (роль + задача + данные + формат + правила)

Сравните, как меняется качество.

Задание 2: Шаблон промпта для своей задачи#

Выберите задачу из своей ниши (из модуля 1) и напишите полный промпт по шаблону:

• роль
• задача
• контекст/данные
• правила
• формат ответа

Задание 3: Тестовый набор запросов#

Создайте 5–10 типовых запросов для вашего агента. Включите:

• простые вопросы
• вопросы, где нет данных
• эмоциональные запросы
• неоднозначные запросы

Пример:

1. "Сколько стоит стрижка?"
2. "Когда у вас скидки?" (если нет)
3. "Вы мошенники, верните деньги!"
4. "Запишите на завтра" (без времени)

Проверочные вопросы#

1. Что такое контекст и зачем он нужен?
2. Почему модель "уверенно" ошибается?
3. Что в промпте влияет на качество?
4. Чем отличается память от базы знаний?
5. Зачем нужны инструменты, если модель "и так отвечает"?
6. Какие данные нельзя давать модели?
7. Почему тестовый набор обязателен?
8. Что такое "ограничение ответа"?

Правильные ответы:

1. Контекст — вся информация, которую модель "видит" при ответе; нужна для правильного ответа
2. Модель предсказывает слова по паттернам, может "придумать", если данных нет
3. Чёткость роли, задачи, данных, правил и формата
4. Память — краткосрочная (текущий диалог), база знаний — долгосрочная (документы)
5. Инструменты позволяют агенту действовать (записывать, отправлять), а не только отвечать
6. Персональные данные, пароли, коммерческую тайну без защиты
7. Чтобы найти ошибки до запуска
8. Правило для модели: "что можно, а что нельзя говорить"

Итоги модуля#

Вы изучили:

• как работает AI: контекст, токены, предсказание
• как писать правильные промпты (роль + задача + данные + формат)
• что такое база знаний и зачем она нужна
• как инструменты делают агента полезным
• какие ошибки бывают и как их предотвратить

Следующий шаг: Модуль 3 — обзор инструментов 2026 для заработка и жизни.

Проверь свои знания#

Квиз: Основы работы с LLM#

Карточки для запоминания#

Материалы для сайта#