Операционный план пилота

Ритейл Групп · План пилота, контроля качества и передачи AI-решения

Голосовой AI-ассистент первой линии поддержки · 2 недели · ~10% трафика · решение по фактическим метрикам

PEcb05 Август 2026
AI Automation Portfolio Lab
02 / 13

Цель пилота — проверить гипотезу, а не доказать её заранее

~10%
доля трафика в AI
2 недели
длительность пилота
~300
звонков / день в AI
5 метрик
ключевых показателей
1
При каких условиях запускаем?
2
Что и как измеряем?
3
Какие правила решения?
4
Что передаём клиенту?
Пилот не доказывает, что AI заменит 60% обращений. Он даёт фактические данные для принятия решения о масштабировании.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
03 / 13

Пилот запускается только после чек-листа готовности

# Проверка Критерий готовности Ответственный
1Внутреннее тестирование50–100 контрольных голосовых сценариев пройденыAI-специалист
2Точность≥ 85% корректных ответов на тестовой выборкеAI + QA
3Критические ошибки0 критических ошибок 2 дня подрядQA
4ТелефонияAPI провайдера подключён, тестовые звонки проходятИнтегратор
5ASR / STTРаспознавание типовых вопросов стабильноИнтегратор
6TTSСинтез речи понятен, без артефактовИнтегратор
7Передача операторуЭскалация работает, контекст передаётся до ответаAI-специалист
8ЛогированиеВсе диалоги и метрики пишутся в PostgreSQLBackend
9МониторингНастроены алерты и дашбордBackend
10Ответственный заказчикаНазначен владелец пилота и канал связиЗаказчик
11Обучение операторовПроведена 30-минутная сессия по эскалациямAI-специалист
12Канал инцидентовСоздан чат / тикет-система для фиксации проблемСовместно
Голосовая специфика: клиент произносит «соедините с оператором» — и звонок сразу переходит человеку. Никаких кнопок.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
04 / 13

10% трафика в AI, 90% — контрольная группа операторов

~10%
доля трафика в пилоте
2 недели
срок пилота
~300
звонков / день в AI
Группа A
Голосовой AI-ассистент
Те же 5 метрик, что и у Группы B
Группа B
Операторы первой линии
Базовый уровень для сравнения
Сценарии на старте
  • Часы работы магазинов
  • Статус заказа (при наличии в CRM)
  • Актуальные акции
  • Базовые вопросы по возврату
Стоп-лист AI
  • Конфликтные и агрессивные претензии
  • Нестандартные финансовые претензии
  • Недостаточные данные / вопросы вне базы знаний
  • Низкая уверенность или просьба «соедините с оператором»
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
05 / 13

Пять ключевых метрик — единый язык решения

Метрика Определение Как измеряем Цель Алерт / отказ
Точность Процент корректных ответов AI на типовые обращения Ручная оценка выборки транскриптов ≥ 85% < 85% → анализ
Скорость Latency до ответа + время обработки типового звонка Измерение в логах: ASR → классификация → TTS ≤ 3–5 сек; ≤ 60 сек > 8 сек / > 2 мин
Уровень автоматизации Доля звонков, полностью закрытых AI без эскалации Закрытые AI / все AI-звонки ≥ 40% < 40% → итерация
CSAT Удовлетворённость клиентов после обращения IVR-оценка или SMS-опрос после звонка Не ниже операторов Разрыв ≥ 5%
Экономика Стоимость автоматизированного обращения и потенциальный эффект Затраты на AI / автоматизированные звонки; пересчёт на масштаб Положительный прогноз Убыток → остановка
Бизнес-условие: ~290 000 ₽/мес и payback ~0,8 мес — это гипотеза из PEcb02/PEcb04, а не доказанный результат пилота.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
06 / 13

Мониторинг и инциденты: безопасность важнее автоматизации

Что контролируется
  • Все AI-диалоги и транскрипты
  • Ошибки ASR / STT / TTS / LLM / RAG
  • Эскалации и причины перевода
  • Latency голосового контура
  • Уровень автоматизации, CSAT, точность
  • Аптайм системы
Критические события
  • Критическая ошибка / низкая уверенность → немедленная эскалация
  • Массовые ошибки ASR / STT / TTS → отключение AI-сегмента
  • Точность < 80% → отключение до разбора
  • Latency > 10 сек → отключение, проверка инфраструктуры
  • Галлюцинации / сбой API → трафик на операторов
Событие Реакция
Один звонок — критическая ошибкаНемедленная эскалация на оператора
Массовые ошибки ASR / STT / TTSAI-сегмент отключается, весь трафик — на операторов
Точность падает ниже 80%AI-сегмент отключается до разбора причин
Latency голосового контура > 10 секОтключение AI-сегмента, проверка инфраструктуры
Сбой API телефонии / n8n / LLMПеревод трафика на операторов до восстановления
При системных проблемах AI-сегмент отключается. Операторы продолжают работать в обычном режиме.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
07 / 13

Через 2 недели — одно из четырёх решений

Решение Условия Следующий шаг
GO — масштабируем Точность ≥ 85%; автоматизация ≥ 40%; CSAT AI не ниже операторов; нет системных критических проблем; экономика положительная Масштабирование AI на больший % трафика
ITERATE — дорабатываем Результат близок к целевому; ошибки системные, понятные и исправимые; точность < 85%, но ≥ 70% Продление пилота на 1–2 недели, доработка промптов / базы знаний
PIVOT — меняем подход Текущий подход не достигает результата; точность < 70%; требуется смена модели, архитектуры или scope Пересмотр архитектуры, модели или границ автоматизации
STOP — останавливаем Решение экономически / технически нецелесообразно; отсутствует достижимая бизнес-ценность Остановка проекта, фиксация learnings
≥ 85%
GO / масштабируем
70–85%
ITERATE / дорабатываем
< 70%
PIVOT / меняем подход
нет ценности
STOP / останавливаем
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
08 / 13

Ритм работы во время пилота — 14 дней

До старта
Day 0
Чек-лист готовности, доступы, обучение
День 1
Контролируемый запуск
10% трафика, усиленный мониторинг
Дни 1–3
Усиленный контроль
Разбор каждой эскалации и ошибки
Дни 4–7
Первая итерация
Оценка паттернов, доработка промптов
День 7
Interim review
Точность, автоматизация, CSAT, ошибки
Дни 8–13
Стабилизация
Повторное измерение на обновлённой версии
День 14
Final review
Решение: GO / ITERATE / PIVOT / STOP
До стартаЧек-лист готовности пройден, доступы получены, операторы обучены
День 1Контролируемый запуск: 10% трафика на AI, усиленный мониторинг в реальном времени
Дни 1–3Усиленный мониторинг: разбор каждой эскалации и критической ошибки
Дни 4–7Первая оценка паттернов ошибок, итерация промптов / базы знаний
День 7Промежуточный review: точность, уровень автоматизации, CSAT, ключевые ошибки
Дни 8–13Стабилизация, повторное измерение на обновлённой версии
День 14Финальный review: сводка метрик, качественная обратная связь, финальное решение
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
09 / 13

Пакет передачи после решения «GO — масштабируем»

Технический пакет
  • Архитектура решения (схема голосового контура)
  • Описание компонентов: телефония, ASR/STT, TTS, n8n, LLM, RAG, PostgreSQL, дашборд
  • Конфигурация: webhook, prompt-версии, настройки классификатора
  • Инструкция по запуску / перезапуску сервисов
  • Мониторинг: алерты, дашборд, backup / recovery
  • Git-репозиторий с базой знаний
Эксплуатационный пакет
  • Инструкция оператору: логика AI, эскалация, работа после передачи звонка
  • Правила эскалации и стоп-лист
  • Инструкция фиксации ошибки
  • Работа с дашбордом: метрики и интерпретация
  • Категории доступов (без секретов в документе)
  • Acceptance: KPI план/факт, акт приёмки
API keys, пароли и токены передаются через защищённый парольный менеджер. Не хранятся в общих документах.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
10 / 13

Обучение: три роли — три тренинга

Роль Тренинг Длительность Что должны знать
Операторы Работа с AI и эскалациями ~30 мин Логика AI; механизмы эскалации; работа после передачи звонка; фиксация проблем
Руководитель КЦ Дашборд и KPI ~30 мин Как читать метрики; что является отклонением; как принимать решения; как запрашивать изменения
Технический специалист Архитектура и поддержка При необходимости Архитектура; сервисы; доступы; перезапуск; обновление конфигурации и базы знаний
Все обучающие сессии записываются и включаются в пакет передачи как видео-гайды для новых сотрудников.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
11 / 13

Поддержка / SLA: три уровня инцидентов

Уровень Примеры Время реакции Время исправления
Критический AI не отвечает, API недоступен, полный отказ системы 1 час До 4 часов
Значительный Массовые галлюцинации, системные неверные ответы, сбои после обновления БЗ До 4 часов До 24 часов
Незначительный Неточные формулировки, пожелания по улучшению, некритичные ошибки До 24 часов 3–5 дней
Регулярные задачи
  • Мониторинг доступности и метрик
  • Еженедельный review логов
  • Обновление базы знаний при изменениях
  • Ежемесячная отчётность по KPI
Важное условие
Поддержка не заменяет внутреннего владельца со стороны Ритейл Групп. У заказчика должен быть назначен ответственный, который принимает решения по эскалациям и изменениям.
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
12 / 13

Ритм коммуникации: от оперативного контроля к стратегии

Первая неделя
Ежедневно
Оперативный контроль: логи, быстрые фиксы, статус в чате
1–2 месяц
Еженедельно
Review: 5 ключевых метрик, улучшения, план
После стабилизации
Ежемесячно
KPI review: тренды, рекомендации
Ежеквартально
Стратегия
Обзор: изменения в бизнесе, новые возможности AI
Период Формат Содержание
Первая неделяЕжедневный оперативный контрольЛоги, быстрые фиксы, статус в чате
1–2 месяцЕженедельный review5 ключевых метрик, улучшения, план
После стабилизацииЕжемесячный KPI reviewKPI, тренды, рекомендации
ЕжеквартальноСтратегический обзорИзменения в бизнесе, новые возможности AI, план
Ритейл Групп · План пилота, контроля качества и передачи AI-решения
AI Automation Portfolio Lab
13 / 13
Следующий шаг

Согласовать пилот и запустить его через 2 недели после подписания ТЗ

1
Согласовать долю трафика и сценарии пилота
2
Назначить ответственного со стороны Ритейл Групп
3
Предоставить доступы к телефонии, CRM и базе знаний
4
Оформить договорные документы и NDA
Через две недели пилота — фактические данные для решения о масштабировании AI на типовые звонки Ритейл Групп
1 / 13