Про Time to Money
После того, как я вам рассказал свое видение метрик TTM в прошлом посте, я немного порефлексировал еще на эту тему и понял, что на самом деле это не все, есть метрика еще более высокого порядка.
Как сейчас устроен процесс выпуска фичей во многих продуктовых компаниях, и у нас в том числе? Как правило, это поэтапная раскатка фичи на пользователей. Сначала выкатываем на какую-то небольшую когорту, скажем в 10%, и постепенно увеличиваем, пока не дойдем до 100%. Часто это называют канареечным релизом, релизом через а/б тест, фиче тогл и тд. Суть примерно одна и та же.
А как при таком подходе считать время, потраченное на разработку? Время до первого релиза в прод, да? Причем неважно на 1% аудитории релиз или на 90%. И это, с одной стороны, правильно. Мы ведь разработали фичу, протестировали ее, выпустили. Работа сделана, в сроки уложились! Time to Market посчитали, едем дальше.
С другой стороны, мы тогда забываем одну очень важную вещь. Что любую фичу мы делаем, по большому счету, для того, чтобы бизнес стал больше зарабатывать. Каждая наша фича конвертируется прямо или косвенно в дополнительные обороты или выручку. И для развития бизнеса важен, так сказать, полный эффект от фичи, когда ей воспользуется вся потенциальная аудитория. Как бы это глупо ни звучало, но когда мы раскатили какое-то улучшение на 10% аудитории - мы заработали 10% возможных денег. Когда раскатили на 100% - тогда заработали 100%.
Получается, что если мы довели какую-нибудь доработку за 4 недели до прода, а потом еще 4 недели держали ее в а/б-тесте на x% пользователей (пока не наберется стат.значимость), то наша скорость по зарабатыванию денег не 4 недели, как нам всем кажется, а все 8! В эту ловушку кстати довольно часто попадают команды, когда хотят оценить свою скорость
Это и есть Time to Money. Мало быстро выпускать фичи и собирать по ним обратную связь в метриках (Time to Learn), важно еще быстро доводить их до всей аудитории и зарабатывать бабки!