Открытая практика / Блог
Модель принятия решений вместо интуиции
Как мы выбирали приоритет между четырьмя направлениями работы и почему доверили выбор модели принятия решений. Распределение, ошибка в постановке и вывод.
Интерфейс принятия решений в бизнесе почти не менялся десятилетиями: собрались, поспорили, выбрали «как обычно». Мы решили проверить другой путь — прогнать выбор через специализированную модель принятия решений.
Это не обычная нейросеть. Такой класс моделей возвращает не текст, а распределение вероятностей по вариантам и показатель уверенности. То есть отвечает не «выбирайте А», а «А — 0.62, Б — 0.33, В — 0.05, и я не уверен наполовину».
Что мы решали
Четыре направления работы, ни одного лишнего рубля в бюджете. Нужно было выбрать, что делать первым. Варианты были такими:
- Довести до конца направление, которое уже начато — дёшево, потому что начато.
- Запустить новое — описание процесса готово, запусков ноль.
- Создать с нуля — связано с новой контент-стратегией, но дорого.
- Расширить набор — оформить ещё один процесс в полноценный.
Что ответила модель
| Вариант | Вероятность |
|---|---|
| Довести начатое | 0.62 |
| Запустить новое | 0.33 |
| Создать с нуля | 0.05 |
| Расширить набор | 0.00 |
Уверенность модели — 0.49 из 1. То есть она честно сказала: «лидер есть, но он не подавляющий». Это и есть правильная калибровка: 0.62 против 0.33 — это «скорее А, чем Б», а не «точно А».
Где ошиблись мы, а не она
На второй вопрос — где должна храниться спецификация процесса — мы получили уверенный неверный ответ. Модель выбрала один вариант с вероятностью 0.70. Правильным был другой.
Причина была в нашей постановке: я описал варианты не так, как они устроены на самом деле. Модель не могла этого знать — она видела только то, что я ей дал.
Вывод, который стоит запомнить: качество ответа модели равно качеству вариантов, которые вы ей дали. Плохая постановка даёт уверенность там, где её нет.
Где она проиграла человеку
Модель поставила первым «довести начатое». Но я знал то, чего не было в данных: результат нас не устраивает, там много ошибок. Этого в контексте не было — и модель не могла этого знать.
Она дала распределение. Решение осталось за человеком, у которого есть то, чего нет в данных.
Что мы вынесли
- Модель — это вход в решение, а не решение. Она хороша там, где выбор определяется взвешенными соображениями из доступного контекста.
- Формулировать варианты — отдельная работа. Плохие варианты дают уверенный неверный ответ.
- Нечестных публикаций не будет. Мы публикуем и ошибки — включая свои собственные.
Практический вывод для бизнеса
Если вы выбираете между направлениями и у вас мало данных — не выбирайте «как всегда». Сформулируйте варианты явно, дайте им честные описания и проверьте, что скажет инструмент. Его ответ не заменит ваше решение, но он покажет, насколько выбор действительно неочевиден.
А если варианты описаны плохо — вы получите не анализ, а красиво оформленную догадку.