Сформулировал важную для себя мысль про A/B тесты.

Есть два разных подхода к A/B тестам: для оптимизации существующей концепции/продукта или для создания новой.

Обычно A/B тесты выглядят так. Мы формулируем гипотезу, почему какое-то изменение улучшит нашу штуку. Запускаем тест, смотрим. Сработало — отлично, внедряем. Не сработало — формулируем новую гипотезу.

Пример: “если добавить фотографии существующих клиентов на сайт — люди будут лучше регистрироваться”.

Этот подход хорошо работает, когда надо оптимизировать уже существующую концепцию. В рамках существующей концепции мы находим локальный максимум.

Проблема в том, что этот подход не поможет найти новые и более лучшие концепции. Потому что все наши гипотезы УЖЕ лежат в рамках существующей концепции (старого продукта).

Чтобы находить новое, A/B тест и его гипотеза должны быть совсем другими, вне существующего фрейма. Такие гипотезы расширяют поиск “максимумов” и позволяет найти что-то совершенное новое, что качественно лучше старого.

Чтобы определить, подходит ли гипотеза под поиск нового, можно ответить на следующие вопросы.

1. Догадываемся ли мы о результате теста?
Удивит ли нас его какой-то один конкретный результат, а другой не удивит? Если да — гипотеза в рамках существующей концепции, “оптимизаторская”.

• Пример: когда мы формулируем гипотезу “фотографии могут улучшить конверсию”, мы уже предполагаем ответ. Мы уже знаем, что лица важны для людей и уже более-менее уверены в результате. Если этот тест сработает — мы не будем удивлены. Если не сработает — будем сильно удивлены.

• А вот обратный пример: гипотеза “посылать посетителя не на сайт, а в мессенжер-бота, где посетитель сможет получить данные”. Мы не можем предположить, какой вариант выиграет. Победа каждого варианта будет интересной и удивит. Значит гипотеза в рамках новой концепции.

2. Дает ли нам важную информацию и выигрыш и проигрыш теста?
A/B тест и гипотеза тестируют новую концепцию/продукт, если любой результат теста — негативный или позитивный дает нам важную и полезную информацию о мире, продукте, наших пользователях. Полезную, это значит на основе этой информации мы можем строить новые гипотезы для новых концепций.

Если полезную информацию дает только проигрыш теста или только выигрыш — это гипотеза в рамках существующей концепции, “оптимизаторская”. Если проигрыш и выигрыш теста дают только информацию о конкретном поведении в конкретных условиях — тоже.

• Пример: если гипотеза “фотографии улучшают конверсию” выиграет, мы узнаем, как улучшить конверсию нашего сайта (это хорошо). Но если проиграет — мы не узнаем ничего. Мы будем знать, что на конкретном сайте конкретные фотографии не сработали — но почему не сработали — не знаем. Даже выигрыш нам дает только “конкретные” знания для “конкретной ситуации”. Мы не можем использовать новые знания, чтобы сформировать какую-то новую сильную гипотезу.

• Обратный пример: гипотеза “посылать посетителя не на сайт, а в мессенжер-бота, где посетитель сможет получить данные”. И выигрыш и проигрыш гипотезы дает нам важную информацию. В первую очередь потому, что мы будем лучше понимать наших пользователей — “они на самом деле любят мессенжеры” или “они совсем не понимаю мессенжеры!”. Во вторую — потому, что ЛЮБЫЕ данные от этого теста, неважно провалился он или нет, можно использовать для формирования новой гипотезы / теста. Мессенжер-бот не зашел — а мы можем посмотреть как люди там общались и сделать новую версию, которая будет сильно лучше. Мессенжер-бот зашел — с нашим сайтом видимо проблемы, давайте его переделывать.

Итого, резюмирую.

1. Есть два вида A/B тестов: для оптимизации существующих штук/концепций/продуктов и для создании новых 2. Они не лучше и не хуже друг друга — у каждого свое применение. Оба инструмента хороши для своих задач. 3. Тесты для “оптимизаций” сильно помогут улучшить существующую концепцию (найти “локальный максимум”), но не помогут найти новую. Будет ошибкой пробовать “оптимизаторские” тесты, когда мы создаем новый продукт или нужно что-то совершенно новое. 5. Тест на новую концепцию должен как правило быть таким:

• мы не можем предположить результат, и выигрыш и и проигрыш нас удивят одинаково.
• и выигрыш и проигрыш принесут полезную и важную информацию для формирования новых “не оптимизаторских” гипотез.