Люди и AI

А/Б-тест: половина пользователей видит красную кнопку, половина зеленую. В простом случае на красную кликают в 3 раза чаще, раскатываем ее на всех. Эксперт для решения не нужен. Даже и AI не нужен. В 3 раза это в 3 раза, выбор можно на автомате делать.

В жизни все сложнее:
— на красную жмут на 5% чаще;
— но потом выбирают тариф подешевле, и сумма меньше на 1%;
— но этот 1% статистически незначим;
— но через полгода у «красной» группы в полтора раза больше возвратов;
— но верить, что возврат через полгода зависит от цвета кнопки на онбординге — мракобесие;
— но зеленая кнопка лучше ложится в дизайн-систему.

По современным воззрениям именно для таких ситуаций нужен человек. У профессионала, дескать, опыт и judgement. Он всё взвесит и правильно решит, куда там железке.

Anthropic проверил теорию экспериментом. 50 экспертов с помощью Claude обдумывали запутанную ситуацию у неких фермеров и презентовали свой финальный вывод. В какую сторону советовать, AI решал с помощью монетки. Человек этого, разумеется, не знал.

Итог:
86% выдали финальную рекомендацию, к которой их подводил агент;
60% согласились с AI в 4 ключевых развилках из 4 (случайно было бы 6.25%);
77% повторили аргументацию агента, когда объясняли рекомендацию;
15% признались, откуда её списали.

Вот такой вот human-in-the-loop.

#статьядня https://www.anthropic.com/research/agents-judgment-calls