Работающая система и полезный результат — не одно и то же
Ответ пришёл без ошибки — это технический факт. Сотрудник решил задачу быстрее — операционный результат. Клиент получил нужную помощь и сделал следующий шаг — результат клиентского процесса. Выручка изменилась — бизнес-показатель, на который могли повлиять и другие причины.
Мы не подменяем одно другим. Количество сообщений не равно числу лидов, низкая задержка не доказывает качество консультации, а число успешных запусков не показывает окупаемость.
Сначала — вопрос, потом показатель
Начинаем с решения, которое предстоит принять. Продолжать пилот? Изменить сценарий? Подключить менеджера раньше? Расширить использование решения?
Под этот вопрос выбираем небольшой набор показателей. Не собираем всё подряд только потому, что система умеет строить графики.
Пример: помощник на сайте
- Качество: доля проверенных ответов, соответствующих согласованным критериям; случаи, где сведений не хватило.
- Процесс: доля обращений, в которых следующий шаг действительно выполнен; время до участия менеджера, когда оно необходимо.
- Бизнес: подтверждённые квалифицированные обращения, сделки или повторные обращения — только если есть надёжная связь с соответствующими данными.
- Затраты: стоимость обработки и время команды, включая проверку и исправления, а не только расход модели.
Это примеры для выбора, не готовый набор метрик любого внедрения и не обещание автоматического доступа к CRM.
У каждого показателя должен быть паспорт
Что считаем. Точное определение, единица измерения, числитель и знаменатель для долей. Что включаем, а что исключаем?
Откуда берём. Источник событий и ответственный за качество данных. Можно ли проследить значение до первичной записи?
С чем сравниваем. Исходный уровень и сопоставимый период. Учитываем объём обращений, сезонность и изменения в работе команды.
Как принимаем решение. Согласованные ожидания, срок наблюдения и действие при хорошем, слабом или неопределённом результате.
Чего не знаем. Пропуски, неполное покрытие, малая выборка и другие ограничения. Отсутствие данных не превращаем в ноль.
Если измерений ещё нет
Начинаем с инвентаризации доступных источников и определений. Иногда первый шаг — простой журнал событий или ручная выборка, а не большая аналитическая платформа.
Собираем исходный уровень до изменений, когда это возможно. Если пилот уже начат, честно отмечаем, что полноценного сравнения нет. Не придумываем прошлые показатели и не обещаем доказать эффект там, где данных для этого недостаточно.
Сбор ограничиваем задачей: не переносим личную переписку и персональные данные в аналитику «на всякий случай». Состав, доступ и сроки хранения согласуем до подключения источников.
Результаты направляют развитие
После этапа сопоставляем ожидания, наблюдения и обратную связь людей. Фиксируем, что получилось, что не получилось, какие условия изменились и какое решение приняли.
В нашей методологии отдельно рассматриваются подтверждённый клиентом исход, повторное использование, повторяемость процесса и затраты. Оплата может показывать коммерческий спрос, но сама по себе не доказывает пользу или качество.
Изменение показателя после запуска ещё не означает, что причиной стало только наше решение. Если нужна более строгая оценка, заранее проектируем сравнение: сопоставимые периоды или группы, когда это уместно и возможно.
Не отчёт ради отчёта
Цель измерений — следующий осмысленный шаг: оставить работающее, исправить слабое, расширить полезное или остановить ненужное. Технологии дают данные и помогают их осмыслить; ответственность за цель и решение остаётся у человека.