Так, давно я что-то про а/б-тесты наши не писал ничего. В этот раз будет кейс с открытым вопросом)

Есть у нас в продукте 2 фичи, вполне себе базовые - подписка на событие и избранное. Собственно, нажимая на колокольчик в ленте - ты подписываешься на ход матча, нажимая на звездочку - добавляешь событие в Избранное. Все предельно просто и понятно.
И раньше это всегда были 2 независимые функции. Если хочешь и подписку и избранное - нужно по отдельности тыкнуть в каждое.

Мы какое-то время понаблюдали за метриками пользователей в этих сценариях и увидели две закономерности. Во-первых, есть довольно сильная корреляция между двумя фичами. Очень большой процент пользователей прожимают сразу обе кнопки на одно событие. Что в общем-то и логично тоже. Если ты добавил что-то в избранное - тебе хочется получать уведомления об этом. Ну и наоборот, если тебе нужны пуши про матч - это похоже на твое «избранное» событие.
Во-вторых, наличие такой функции как подписка на событие дает нам статзначимый рост в количестве ставок. Что тоже весьма объяснимо. Человек получает пуш, когда например меняется счет в матче, и это является для него стимулом сделать новую ставку.

Какой, значит, логичный эксперимент напрашивается тут? Ну конечно же соединить эти 2 функции в одну. С точки зрения пользователя нафига тебе 2 клика, когда можно сделать один. Упростим жизнь нашим клиентам! Ну и с нашей точки зрения, увеличим количество подписок = увеличим количество ставок, тоже хорошо.
Собственно такой а/б-тест и запустили:
• У тестовой группы при добавлении события в избранное происходит автоподписка на него же.
• У контрольной группы автоподписки нет.

И вот что получилось:
• Конверсия в подписку на событие выросла в 2 раза. Логично, мы же принудительно начали включать пользователям подписку
• Конверсия в отписку от события выросла тоже в 2 раза. А вот это уже менее ожидаемо. Получается, что сколько новых подписок, столько же и новых отписок (почти).
• Количество ставок у тестовой группы не выросло. Что тоже немного неожиданно. Ведь мы точно знаем, что подписки увеличивают ставки у игроков.

А теперь вопрос знатокам.
Как будем оценивать этот а/б-тест?) Фича удачная или нет? Раскатываем на всех или откатываем назад? Мы сделали продукт лучше или хуже?