Чуть было не попал сам на классическую ошибку A/B тестов. Тестируем вид одной важной страницы. Смотрю на данные — ого — в тестовой группе конверсия в два раза выше. Это очень много. Уже готов открывать шампанское, но замечаю, что сегменты не равны. В контрольной группе пользователей в 4 раза больше чем в тестовой. Это ненормально. При случайном распределении они должны быть примерно одинаковы.

Стал разбираться и оказалось, что я забыл про ограничение: в тест попадали только пользователи с английским языком. А в расчетах я это не учел.

То есть получилось, что в тестовую группу попало 50% случайных пользователей с английским языком. А в контрольную группу другие 50% пользователей с английским языком и дополнительно все пользователи на других языках (а не должны).

Конверсия в англоязычных странах выше, поэтому такое большое расхождение — пользователи из не-англоязычных стран искусственно понижали значение конверсии в контрольной группе. Когда пересчитал, оказалось что тестовая группа все равно выигрывает, но не с таким разгромным счетом, конечно. На десяток процентов, что тоже конечно неплохо, но не 100% как показал первый неверный расчет.

Вывод: если сегменты не случайные, то сам себя обманешь. Если сегменты не примерно равны — они скорее всего не случайные.