Ноябрь 2018: выбор из двух вакцин, побочные эффекты KPI, секрет успеха stories и базовое репродуктивное число

Начал слушать курс по нейроэкономике. Там упомянули интересный эксперимент, который может быть неплохим тестом на то, понимаете ли вы людей и можете ли предсказать их поступки.

Есть два человека, которые не знают друг друга: вы и еще один чувак. Вам просто так дают $100. Вы можете разделить эту сумму в любой пропорции и отдать вторую часть этому человеку. Если он берет эту сумму (вторую часть) себе, то вы забираете первую часть. Если он отвергает эту сумму (вторую часть) по какой-то причине, то и вы не получаете первую часть денег. Вы оба знаете об условиях эксперимента, но не знакомы и не общаетесь лично.

Как бы вы разделили сумму, чтобы максимизировать шансы оставить деньги себе и максимизировать количество этих денег?

Так вот если считать людей рациональными агентами (что разумеется не так), то делить конечно надо на $99 (cебе) и $1 (второму чуваку). Ведь ему выгодно взять даже $1 — это же больше чем $0 (что он получит, если отвергнет оффер).

На самом деле это так не работает. И эксперименты показывают, что если часть второго чувака снижается меньше 20%-30%, то шансы отвергнуть предложение резко возрастают Чем меньше доля второго чувака — тем больше шансов, что предложение будет отвергнуто.

Это происходит по тому, что очень маленькую вторую долю люди воспринимают как нечестную и хотят наказать чувака, которому дали $100, за несправедливое решение.

Поэтому (судя по всему) оптимально делить $100 например как $70 - $30 или даже $60 - $40, это повышает шансы на получение денег.

Второй известный эксперимент, который запомнился, связан с ощущением потерь и приобретений. Допустим мы знаем, что скоро появится эпидемия, которая точно убьет 600 человек. У нас есть две вакцины:

Какую вакцину вы выберете?

При этом если переформулировать вопрос, то отношение к ответу и выбор может изменится.

Это два абсолютно одинаковых варианта, просто сформулированы по разному. Но в первой формулировке (фрейм приобретения) люди чаще выбирали вариант А и уменьшали свои риски. Во второй формулировке (фрейм потерь) люди чаще выбирали вариант Б и увеличивали риски, чтобы уменьшить возможные потери.

Это интересно по двум (достаточно очевидным) причинам.

Во-первых, при оценке ситуации полезно переформулировать ее и в рамках потерь и в рамках приобретений.

Во-вторых, похоже если мы хотим побудить кого-то рисковать, то надо оперировать возможными потерями (“если не рискнешь, потеряешь что-то возможное!”). А если хотим побудить не рисковать, то сохранением гарантированного (“не рискуй и сохранишь гарантированное NN”)

Сейчас весьма популярна социальная сеть TikTok из Китая c кароке-подобными видео. Кто-то считает ее очень дурацкой, кто-то нет — скачивания там космические. Одна штука у них точно интересная: как сделан онбоардинг в их приложении. Он и есть и его нет одновременно, это очень неплохо сделано.

Мне очень нравится эта идея отсутствие регистрации в самом начале и показ ценности без нее. Отличная иллюстрация к лекции про мобильный онбоардинг, про которое я писал раньше.

Недавно видел у кого-то в ленте размышления про KPI для QA инженеров. Что вот как бы хитро добавить зависимость зарплаты от от количества найденных багов.

На мой взгляд это ошибочный подход. Когда деньги — единственная или главная мотивация и есть некий один “главный KPI/показатель”, то это долгосрочно ухудшает достижение нужных целей¹. Эта мотивация начинает работать на достижение именно KPI, а не цели, которая за этими KPI стоит.

Это описывается например в известном примере с кобрами. Когда Индия была колонией Британии, то англичане были озабочены проблемой кобр. Поэтому англичане предложили премию за каждую найденную и убитую кобру. Сначала эта программа работала неплохо. Но потом индийцы стали просто разводить кобр сами на своих фермах. Когда правительство узнало об этом, программу свернули и перестали платить премии. Индийцам стало невыгодно разводить кобр, они их выпустили на волю. В результате популяция змей в итоге увеличилась.

Подобные штуки не единичны. Во Вьетнаме французское правительство предложило премию за убитых крыс. Деньги выплачивались при показе отрубленного хвоста. В результате охотники ловили крыс, отрубали им хвосты и отпускали на волю — размножаться дальше, чтобы они плодились дальше и было что рубить в будущем.

Другая история была относительно недавно, в середине XX века в Канаде. Канадское федеральное правительство субсидировало Квебеку расходы на пациентов. Дюплесси, премьер-министр Квебека, перевел все сиротские приюты под управление католической церкви. Потом приюты были переквалифицированы в госпитали, чтобы увеличить субсидии а детей рожденных вне брака туда забирали как “сирот”. Так как Канада платила Квебеку $1.25 за содержание сироты и $2.75 за пациента психической больницы, то многих сирот переквалифицировали в психически больных, чтобы еще больше увеличить гранты. Ужасная история (вот тут подробнее на русском или английском)

И подобных перекошенных мотиваций очень много вокруг нас. Например риелторы. Если мы нанимаем риелтора купить квартиру и риелтор получает фиксированный процент за стоимость (например 3%), то риелтору не выгодно купить ее дешево. Ей выгодно купить ее дорого, но так, чтобы мы все еще согласились на эту цену. (Поэтому наверное мотивация риелтора должна быть обратной в такой ситуации — бóльший %, если цена ниже).

Поэтому или деньги не должны быть завязаны на KPI или же KPI не должен быть один: это должен быть набор сбалансированных метрик (они должны как бы противоречить друг другу, если мы ) или должен быть добавлен неисчислимый KPI в виде экспертного мнения (“здравого смысла”). Я писал об этом чуть подробнее в заметке про закон Гудхарта

[1] — при этом я допускаю, что возможно этот тип мотивации с конкретным одним KPI, привязанным к деньгам, может работать при достаточно рутинной простой работе, не требующей креативности / решений. Например “закручивать болт на конвеере”. Любая чуть более сложная штука сразу вызывает “коррупцию” этого KPI, пример — поищите как водители. Яндекс.Такси обманывают систему. Я был поражен креативностью этих людей.

К размышлениям о KPI. Читатель Nick прислал (спасибо!) ссылку на пост про KPI тестировщиков/разработчиков с конкретными примерами.

Отношение социума к определенным вещам меняется каждое поколение. Каких-то 50 лет назад было модно курить, курили везде и рекламировали сигареты как лучший подарок. Сейчас — нет. То же самое с гендерными штуками — нравится вам или не нравится, но факт — отношение общества сильно поменялось.

Мы не можем предсказать, какие изменения будут в следующие 20-30-50 лет. Определенно, что какие-то вещи, которые сейчас ОК будут совсем не ОК (вплоть до остракизма и травли) через 10 лет.

Из этого я вижу два вывода.

1. Какие-то вещи, которые мы делаем сейчас, в будущем ТОЧНО буду считать неправильными и странными. Что это будет — непонятно (я бы ставил на “перестанут пить кофе”), но что-то будет точно.

2. Социальные сети добавили таким изменениям связанных рисков. Раньше при смене поколений как правило не оставалось много информации об словах и действиях каждого человека. Ну то есть если у кого-то прадедушка служил на Гитлера или был рабовладельцем, то вряд ли было много записей что он делал и говорил. Сейчас социальные сети сохраняют всю историю сказанного и сделанного. Этого сказанное и сделанное может быть совсем не ОК через 20 лет. То есть long term не выгодно быть публичным без фильтра в социальных сетях, особенно если есть планы быть публичной фигурой.

Недавно проводил продуктовую демку. Закон Мерфи продуктовых демок — что-то всегда пойдет не так. Чем сложнее демка, тем больше шанс этого. Не подойдет пароль, что-то сломается, сработает не так и ты такой сидишь и “э-э-э, обычно это работает”.

Секрет: для продуктовых демок в большинстве случаев не надо делать все шаги вот в этот самый момент демки “в реалтайме”. Надо заранее пройти репетицию всей демки, открыть все нужные страницы в отдельных табах браузера, залогиниться где надо. Результат тоже можно тоже открыть в табах заранее!

Ну например вы делаете сайтбилдер, который круто и автоматически генерирует сайт по ссылку на ваш Авито-профиль. Если показывать все вживую, особенно если это еще не выпущено, что-то пойдет не так. Но можно заранее открыть результат в отдельном табе: показываешь в одном табе интерфейс коннекта и настройки, жмем “Готово” и переключаемся на новый таб, где открыт другой сайт, сделанный с того же профиля заранее. Это исключает сюрпризы, делает презентацию продукта гладкой и быстрой, тем более что когда просят о “продуктовом демо” людям как правило важно понять ЧТО вы делаете и ПОЧЕМУ это полезно и круто, а не увидеть как вы на кнопки тычете. Когда важная демка у меня открыто до 20 табов в разных браузерах — на все возможные частые вопросы.

Когда слышу фразу “исключение подтверждает правило” — немного коробит. Это фраза — бессмысленная.

Обычно происходит так. Кто-то рассказывает про свое убеждение (“правило”) и приводит примеры. Если какие-то штуки противоречат примерам и правилу, то они отвергаются фразой “а это то самое исключение, которое подтверждает правило”. И обсуждать штуки, которые опровергают твое правило не надо. Можно их игнорировать, победив заезженной фразой. У заезженных фраз есть какая-то магия, слышишь их и типа веришь на слово, не думая.

А ведь если у правила есть исключения (то есть свидетельства, которые ему противоречат) это явно указание на то, что:

1) правило не глобальное

и/или

2) есть неучтенные условия в этом правиле.

Если вы говорите, что “все рыжие без души и злые”, приводя в пример своих знакомых, то пример-исключение рыжего доброго человека не подтверждает это правило. Наоборот, говорит о том, что вероятность того, что это правило верное должно быть пересмотрено в меньшую сторону.

А фраза про “исключение подтверждает правило” на самом деле про то, что “исключение [из правила] подтверждает [наличие] правила” (там целая история про Цицерона и двойное гражданство). И это как раз абсолютно логично.

FB Messenger обновил интерфейс. Картинка было/стало (я замазал кое-какую приватную инфу). Ребята вырезали все лишнее.

Хорошая иллюстрация к “очевидное всегда выигрывает” .

Недавно мне задали вопрос: “почему stories стали так популярны?” И действительно, stories есть в каждом утюге и в том же Instagram показывают какой-то дикий уровень вовлеченности.

Вопрос интересный, я думаю дело вот в чем.

Если я смотрю на самые старые/первые фотографии своего Инстаграма (~2011), то заметно, что все они были весьма банальными, часто некачественными, но при этом они были весьма жизненными. Про мою жизнь вокруг. Увидел — выложил. Потом это начало меняться, я стал думать о том, что выкладываю. Я стал хотеть выкладывать хорошие умные фотографии, потому что лайки, подписчики, потому что эти фотографии — репрезентация меня. Фотографии стали лучше, но менее жизненными, более “постановочными”.

Похоже это произошло у всех. Инстаграм взлетел, стал массовым сервисом (весь твой социальный круг тебя читает) и все стали очень серьезно относится к постам. Ведь этот пост останется навсегда и тебя станут по нему судить. Все стали стремиться к совершенству. В результате потерялся fun, игра перестала быть игрой, это стало в глазах всех работой, которую надо делать для поддержания имиджа. Количество и качество постов это не улучшает.

Stories вернули веселье.

Интересно, но для меня сейчас stories, которые менее требовательны к пользователю, сильно интересней и креативнее обычных Инстаграм постов.

Плюсы же stories в аппах, где нет создания контента пользователем, в другом. Почему они появились в приложениях Тинькоффа, Яндекс-Такси и других? Там stories это же те самые СЛАЙДЫ, которые любят во всех офисах. В другой обертке, но те же слайды: структурированная краткая информация, поданная в блоках. Блок = текст + картинка. Cлайды неплохо работают для донесения мысли из-за краткости (в хороших слайдах) и структурированности подачи. Вот их там и используют (под маской модных stories).

Вот уже два года каждую неделю в одно и то же время я провожу открытую встречу “State of Product” со всей командой. Спустя сотню встреч я могу сказать, что это было очень полезное начинание.

Когда команда вырастает больше определенного порога (30-40 человек по моим наблюдениям), то информация перестает быть доступной как раньше. Что мы выпустили, зачем мы это выпустили, почему это здорово, какие наши планы — все это становится неочевидно. Еженедельная встреча дает возможность все это рассказать. Важные детали:

Работает это отлично — рекомендую.

Если команда делает массовый продукт, то фраза “У меня не воспроизводится.” (с точкой) должна быть чем-то стыдным. Очевидно, что при массовости решения твоя конфигурация будет точно отличаться от сотен разных конфигураций пользователей. Это плохой повод не исследовать проблемы.

Эта фраза имеет смысл только с запятой. “У меня не воспроизводится, поэтому исследование займет много времени”. “У меня не воспроизводится, поэтому скорее всего проблема не у всех”. “У меня не воспроизводится, а проблема совсем небольшая, может отложим решение?”

Хороший пример сложного бага, который “не воспроизводится”.

Известные шутники Cards Agains Humanity (делают настольную игру) задали много вопросов жителям Америки. Результаты интересные.

Это конечно не особенность страны и конкретных политических убеждений. Это еще одна демонстрация, как мы спокойно умещаем в голове противоречащие друг другу убеждения.

Меня занимает вопрос — как это обнаруживать в себе? (Оставим пока в стороне вопрос “зачем обнаруживать”). Две мысли:

Это вряд ли приведет к полному отказу от концепции (хотя и такое бывает), но позволит детализировать свои собственные убеждения и в итоге сделать собственные эвристики эффективней.

Отличный пост/слайды от Andrew Chen про Acquisition Loop и Engagement Loop (PDF слайды)

Первая треть статьи (где он про себя рассказывает) cкучновато, но потом очень классные идеи. Он дает фреймворк с помощью которого можно смотреть и планировать рост компании.

Главная суть: надо искать петли. Петля это канал привлечения с положительной обратной связью. Acquisition Loop: чем больше новых пользователей мы находим, тем больше это дает нам ЕЩЕ новых пользователей. Engagement Loop: чем больше наши существующие пользователи вовлечены (активны), тем больше у вовлечены и активные другие.

Growth factor на одном из слайдов напомнил мне про очень похожий термин из мира вирусов и эпидемий: базовое репродуктивное число / basic reproduction number (wiki).

Это, если вкратце, среднее число людей, которых заразит в будущем каждый новый заболевший. То есть если R0= 2, то каждый новый заболевший в будущем заразит еще двух человек. Чем больше это число, тем заразнее болезнь. У гриппа это число равно 2-3, у СПИДа — 2-5, оспа — 5-8, корь — 12-18 (ого!)

Мне показалось интересным провести параллель между этим числом в эпидемиологии и в росте IT проектов.

R0 зависит от трех штук:

Эту концепцию можно применить и к стартапам (вероятность заражения = привлекательность идеи для среднего чувака, среднее количество контактов = насколько часто он рассказывает о вам другим или известен в своей среде, время болезни = время пока клиент пользуется сервисом). Хороший пример вирусного сервиса (в прошлом) — Dropbox. Эту концепцию можно применить и к другим штукам: например к распространению идей или наоборот, к НЕ распространению идей. Оставляю эти размышления на пытливого читателя.

Интересный конспект курса позитивной психологии из Гарварда. Про то, как быть счастливым.

Там 23 лекции по часу и плохая запись, поэтому смотреть самому не хочется. А вот выжимка интересна.

Там например про то, что

И еще разные очевидные для понимания, но в то же время непростые для реализации штуки. Хороший конспект.