Опасность A/B тестов даже не в том, что в них легко ошибиться и неправильно интерпретировать результаты, а в том, что обычно они дают конкретные данные, но про краткосрочное поведение.

Ну то есть команда решила добавить какие-нибудь надоедливые пуши. Кто-то за, кто-то против — давайте всех рассудит A/B тест! Разумеется, A/B тест показывает, что если людям напоминать про приложение — они будут им больше пользоваться. “A/B тест показал полезность изменения, давайте-же ещё больше такого”. Сложно спорить с таким. Мы имеем ощущения против данных. Как правило данные выигрывают (если конечно нет человека, которые скажет “пофиг на ваши данные, так делать неправильно”).

Это всё в конце концов приводит к оптимизации продукта на кратковременные выгоды. “Ну и что, что раздражает — работает же”.

Так вот тут команда Facebook Notifications Data Science провела эксперимент длиной в год.

Оказалось, что если сокращать число бесполезных нотификаций, то сначала использование продукта падает. Но со временем использование продукта вырастает больше того, что было.

Even if users claim they don’t enjoy getting too many notifications, the usual A/B testing results do commonly suggest that sending only a few notifications would immediately result in reduced product visits

…

We discovered that the initial loss of visitation from fewer notifications gradually recovered over time, and after an extended period, it had fully recovered and even turned out to be a gain. In other words, long-term effects may be different from short-term effects, or even the opposite. It may take time for people to adapt to the change. Our results suggest people will eventually return and become even more engaged with Facebook if the change truly improves their experience.

К сожалению мало кто может позволить себе запускать такие эксперименты длиной в год. Пусть это будет хорошим напоминанием, что не всегда данные дают полную картину. А здравый смысл и работа от основополагающих принципов (“людей бесят ненужные пуши, продукту будет лучше без них”) тоже могут работать.