Об А/Б-тестах в корпорациях и стартапах

Рассказывал приятелю о статусе стартапа: “проводим А/Б тест стоимости подписки, проверяем четыре варианта цены, за неделю набрали примерно 40 продаж, скоро примем решение”. Он явно хотел то ли меня ударить, то ли расхохотаться.

“Мы в корпорации с нашими тысячами покупок держим тесты на цену месяцами. В потреблении контента есть сезонность, в дни зарплаты люди платят лучше, в плохую погоду аудитория растет, а конверсии падают. Чтобы всё это учлось и усреднилось, даже нам нужно время и объёмы. А потом ещё надо смотреть отток – и тут меньше месяца ждать невозможно. Ваш тест – профанация.”

Ответ – повод для нравоучительного #стартапдня. Он, конечно, прав. Но и мы тоже правы. Разница в том, что корпоративный тест должен быть точным, выигрыш в 10% для него это очень много, 2% - неплохо. На миллиарде рублей выручки (а у реальной корпорации в разы больше) это дополнительные сто или двадцать миллионов за год, правильный выбор окупает IT-отдел или хотя бы группу аналитики. В погоне за 2% надо быть очень аккуратным, погода и правда дает больший разброс.

Для стартапа до seed-раунда 10% не влияют ни на что, имеют значение только разы. Был CAC 20% LTV, а стал 18% – ну и, собственно, что? В презентации оба числа достаточно красивы, деньги в маркетинг надо по-прежнему лить, экономия в абсолютных числах – пара дней burn. Лучше, конечно, иметь больше, чем меньше, но никакого влияния на будущее. Цель теста цены в стартапе – прибавить так, чтобы эффект был драматическим или убедиться, что это невозможно, изначальный вариант был плюс-минус хорош, где 10, а то и 30 процентов включены в этот “плюс-минус”.

Если в одном варианте теста случились 2000 покупок, а в другом 2100, то по корпоративным правилам победы ещё не нет. Даже без учета сезонности такой результат просто из-за случайности мог образоваться. Зато стартап может практически безбоязненно принимать решение в ситуации 21 против 20! Да, истинная конверсия якобы проигравшего варианта может быть выше, чем у выигравшего, это почти 50 на 50. Но в два раза – нет, не может, покупок достаточно для надежной оценки. А значит, тест можно закрывать и начинать проверять другую смелую гипотезу, может быть, принципиальный выигрыш даст она. Сейчас время важнее точности. Ну а цену ещё раз проверим через полгода, когда 30% выручки станут важным фактором, а не ерундой какой-то. А потом и ещё через год – уже в борьбе за 2%.
Комментарии(0)
Комментарии (0)
Авторизируйтесь, чтобы оставить комментарий.

Подпишитесь и статьи будут приходить на вашу почту

Нажимая «Отправить», я даю согласие на обработку моих персональных данных

Подписка офомлена

На адрес отправлено подтверждение