Январь 2018 — Заметка №4

Сформулировал важную для себя мысль про A/B тесты.

Есть два разных подхода к A/B тестам: для оптимизации существующей концепции/продукта или для создания новой.

Обычно A/B тесты выглядят так. Мы формулируем гипотезу, почему какое-то изменение улучшит нашу штуку. Запускаем тест, смотрим. Сработало — отлично, внедряем. Не сработало — формулируем новую гипотезу.

Пример: “если добавить фотографии существующих клиентов на сайт — люди будут лучше регистрироваться”.

Этот подход хорошо работает, когда надо оптимизировать уже существующую концепцию. В рамках существующей концепции мы находим локальный максимум.

Проблема в том, что этот подход не поможет найти новые и более лучшие концепции. Потому что все наши гипотезы УЖЕ лежат в рамках существующей концепции (старого продукта).

Чтобы находить новое, A/B тест и его гипотеза должны быть совсем другими, вне существующего фрейма. Такие гипотезы расширяют поиск “максимумов” и позволяет найти что-то совершенное новое, что качественно лучше старого.

Чтобы определить, подходит ли гипотеза под поиск нового, можно ответить на следующие вопросы.

1. Догадываемся ли мы о результате теста?
Удивит ли нас его какой-то один конкретный результат, а другой не удивит? Если да — гипотеза в рамках существующей концепции, “оптимизаторская”.

2. Дает ли нам важную информацию и выигрыш и проигрыш теста?
A/B тест и гипотеза тестируют новую концепцию/продукт, если любой результат теста — негативный или позитивный дает нам важную и полезную информацию о мире, продукте, наших пользователях. Полезную, это значит на основе этой информации мы можем строить новые гипотезы для новых концепций.

Если полезную информацию дает только проигрыш теста или только выигрыш — это гипотеза в рамках существующей концепции, “оптимизаторская”. Если проигрыш и выигрыш теста дают только информацию о конкретном поведении в конкретных условиях — тоже.

Итого, резюмирую.

  1. Есть два вида A/B тестов: для оптимизации существующих штук/концепций/продуктов и для создании новых
  2. Они не лучше и не хуже друг друга — у каждого свое применение. Оба инструмента хороши для своих задач.
  3. Тесты для “оптимизаций” сильно помогут улучшить существующую концепцию (найти “локальный максимум”), но не помогут найти новую. Будет ошибкой пробовать “оптимизаторские” тесты, когда мы создаем новый продукт или нужно что-то совершенно новое.
  4. Тест на новую концепцию должен как правило быть таким:
    • мы не можем предположить результат, и выигрыш и и проигрыш нас удивят одинаково.
    • и выигрыш и проигрыш принесут полезную и важную информацию для формирования новых “не оптимизаторских” гипотез.