День из рабочей жизни

Рассказала для ProductStar о том, как проходит мой типичный рабочий день в офисе. Было прямо сложно: хоть мы и работаем по спринтам, и я в целом понимаю, какие встречи с командой у меня будут каждый день, хоть работа продакта и циклична, все равно каждый день не похож на другой: то нужно научиться метрики логировать там, где это еще не делали, то какой-то новый тип исследования на продукте запустить, то новичка в команду адаптировать, то вебинар провести.

Еще раз поняла, как я сильно кайфую от своей работы.

Постаралась включить в пост полезности: рассказала, как включаю обучение в жизнь, какие книжки почитать, как пробовать предотвращать выгорание и какая же полезная штука PBRы.

Почитать всю статью можно в инстаграме у ребят.

Количественные опросы: казнить нельзя помиловать. Часть 1.
Этот пост я писала аж с прошлого года как в том числе напутствие самой себе. Получилось много, так что разделила его на 2 части. Сегодня расскажу о планировании количественника, а завтра о запуске и анализе данных.

У меня долгое время было предубеждение против количественных опросов в продукте. Причем я всегда любила количественные исследования, настолько, что моя самая первая стажировка была связана именно с ними. Но мнение, что не стоит запускать опрос, сформировалось у меня из-за насмотренности: много кто на рынке из классных продактов говорит, что «это долго», «дорого» и «ничего хорошего из этих данных не извлечь». То ли дело глубинки: вышел в коридор или на улицу и поговорил по часу с людьми.
Хочу сегодня поделиться опытом того, как применили количественный опрос у меня в продукте, и что из этого вышло (спойлер алерт: мне понравилось: за сутки мы собрали 600+ ответов, 200 из них за первый час! Хотя не обошлось без косяков).

🤷‍♀️ Почему решили запустить количественник?
Я уже рассказывала про один из продуктов в портфеле моей команды – про Перфоратор (система для автоматизации процесс оценки сотрудников в компании). В прошлом квартале Перфоратор революционно стал первой полностью продуктовой разработкой Avito People. Мы в первый раз обвязали интерфейс логами, смогли извлечь аналитику и принять на ее основе будущие продуктовые решения. Круто? Да! Но что еще это значит?
📝 У нас не было никаких данных по историческому использованию Перфоратора.
⚠ Мы не уверены, насколько может доверять в первый раз собранным логам.
🚸 Нужно было спросить у людей, зашло ли им решение субъективно (своего рода NPS).
А еще часто бывает так, что искать людей на глубинки долго и дорого. Особенно в конце года, когда наша ЦА вся в пылу закрытия года.

⏳ Сколько готовилась к опросу?
Действительно, подготовка заняла больше времени, чем подготовка к интервью. С интервью как-то просто: открываешь список гипотез и думаешь, какими вопросами их поддержать, а потом добавляешь вопросы в начале и в конце для установления контакта и эффективного завершения. В принципе, с опросом точно так же (спасибо нашей UX лабе, что они это подсветили). Если добавлять вопросы из серии «А вдруг понадобится», то опрос раздуется до космических величин. Хотя, куда уж больше: у меня было 80 вопросов.
Сделать список из этих 80 вопросов было не очень просто: нужно было убедиться, что вопрос линкуется с гипотезой или с метрикой, подобрать понятную формулировку, подобрать такие варианты ответов, которые описывали полное множество возможных ответов (с вычиткой текстов мне помогли наши редакторы).
После этого надо было еще пройтись с ножом по опросу и убрать все лишние или потенциально дублирующиеся вопросы.
Думаю, на это ушло около 10 часов чистого времени.
Сильно больше времени ушло на вбивание всего опросника в тулзу для опросов и задание правил выпадения вопросов. Это были без преувеличения БОЛЬ и СТРАДАНИЯ. На это ушла неделя между встречами и один тяжелый вечер.

🧠 Что надо обязательно предусмотреть?
Мой основной косяк был, что я недостаточно хорошо продумала то, как буду обрабатывать результаты исследования. Поэтому я допустила ошибки в некоторых вариантах ответов. Например, у меня было несколько вопросов, где я спрашиваю у людей, сколько они потратили времени на процесс. Ответы были в удобном для респондента формате «20 минут» и т.д. При этом при выгрузке данных в эксель мне пришлось вычищать каждый такой вариант ответа от лишних слов.
В некоторых случаях нужно было сравнивать ответы на несколько вопросов между собой. В этом случае было бы полезнее иметь одинаковые варианты ответов или хотя бы с равными шагами. У меня в одном случае произошел сбой.
Также не стоит перебарщивать с открытыми вопросами: никто их не любит, особенно те, кому потом сводить несколько сотен разных ответов и искать в них паттерны.

Продолжение следует

Количественные опросы: казнить нельзя помиловать. Часть 2.
Часть 1

✈ Пилотируем?
До запуска я прогнала опрос на небольшой тестовой выборке, которая помогла вычитать вопросы/ответы на понятность и логичность, где-то указала на дубли или на недостаток вариантов ответов. Мне хватило 10 человек.

🚀 Как соберём максимум ответов быстро?
Нужно продумать лучший канал дистрибуции. Например, если бы мы просто разместили ссылку на опрос в каком-то общем канале в Слаке, мы бы получили значимо меньше ответов. Поэтому мы использовали наш notification сервис и отправили через бота пуш всем сотрудникам в Слак и на почту.
Эффект был максимальный! В моих OKRах стояло «собрать 200 ответов на опрос», я закрыла этот пункт за 20 минут! А в течение суток нападало еще 400+ ответов.
Еще один хороший канал – через внутреннюю LMS систему, которая периодически напоминает тебе об опросе, если он еще не пройден.

🚢 А сколько вообще надо ответов?
Столько, чтобы выборка респондентов получилась репрезентативной, так что учитываем точность и доверительный интервал. Есть специальные калькуляторы, которые могут помочь прикинуть объем выборки, как и с A/B тестами.
Также важно подумать, будем ли мы сравнивать части выборки между собой (в моем случае менеджеры VS линейные сотрудники или Тех VS non-тех). Тогда нужно также подумать, с помощью какого статистического инструмента будет происходить расчет, и сколько для него нужно данных. Чаще всего анализ будет происходить с помощью т-теста для независимых выборок.

🛸 Как анализируем результаты?
Из опроса можно было извлечь информацию трех пластов:
- что там по гипотезам?
- что там с метриками?
- есть какие инсайты?
Поэтому при планировании исследования было полезно сделать табличку «гипотеза - вопросы, которые ее поддерживают - результаты». Так я понимала лучше, как именно буду использовать ответы из 80 вопросов, как лучше крутить данные.
Если у нет аналитика в помощь, то нельзя забывать о статистической значимости, которая приходит в помощь, когда возникает вопрос «а как понять, есть ли различия между результатами по выборкам?». Если в A/B мы работаем с конверсией используем доверительный интервал, то в случае сравнения абсолютных величин нам помогает т-тест. Если не было опыта с мат. методами в исследованиях, то можно почитать статьи по запросу «сравнение средних двух независимых выборок».

В общем, я преисполнилась🥳 Вспомнила времена Вышки, когда количественные исследования были моим любимым предметом, и как я до 4 утра сидела перед предзащитой и крутила данные в разные стороны, доставая их них все новые и новые инсайты.
Надо будет повторить!

Давно меня не было здесь. Сначала не было вдохновения, а с конца февраля все это перестало казаться важным. Но недавно постепенно снова начала выходить в люди и вести очные выступления (после стольких лет!) и вебинары. Подумала, что могу хотя бы рассказывать о том, о чем говорю на закрытых выступлениях, или приглашать на них, если они открытые.
А потом снова начну рассказывать о том, что происходит на работе - ох, сколько всего в Авито Пипл изменилось за полгода.

🚀 Ну а пока - приходите завтра на мой вебинар с ProductStar, где я расскажу о моем видении того, как продуктовый подход, автоматизация и оптимизация процессов могут помочь в классическом HR. Фокус буду делать на процессы Performance Review и Recuitment. Кстати, если кто-то собирается проходить обучение от ProductStar, приходите в личку, у меня есть промокод на отличную скидку.

Регистрация на вебинар ->

🎤 Появилась запись вебинара про продуктовый подход в HR, который проводили вместе с ProductStar и TeachBase. Тема максимально моя, поэтому получила огромное удовольствие, когда готовила контент и рассказывала про кейсы.
Рассказала про два кейса: первый про рекрутмент из моего очень древнего допродуктового опыта, второй уже Авитовский, про который раньше не рассказывала в метриках даже здесь.
https://www.youtube.com/watch?v=tBMVkNEoZb4&ab_channel=Teachbase

Раз в год здесь будет очень личная исповедь про выгорание.

Хотя очень бы не хотелось. Но, согласно исследованиям, ИТшка – самая выгорающая индустрия, так что неудивительно, что мы снова здесь. Правда, сейчас меня накрыло не от работы (которая как всегда клевая), а от остальной жизни.

☄ Выгорание – это то, с чего начался мой канал, и к чему я пришла сейчас (или на очень тонкой грани). Я уже неделю медитирую на наполовину написанный пост про метрики, но не могу найти в себе силы и вдохновение закончить его. И вроде бы все логично, у меня слишком много дел: три бэклога одновременно, команда, стратегия, вебинары почти каждую неделю, периодическое менторство, работа с моим ментором… но факт остается фактом. Уже несколько месяцев я шлю нахрен те вещи, которым бы раньше с радостью сказала «да», но при этом же продолжаю закидывать себя разными активностями.

Кажется, началось все в тот момент, когда я была переполнена запросами как бесплатный ментор, от которых я не отказывалась. Сильно помогло поставить на Getmentor ценник: запросы в разы сократились и стали более структурированными. Но я продолжала вести некоторых бесплатных менти, с которыми начала работу еще осенью, постепенно чувствуя, что это превращается в какую-то бесцельную кашу с обеих сторон. Пропало чувство, что я кому-то помогаю, и появлялось чувство бессилия.

Очень сильно на меня давил и давит ремонт, который в процессе с января, и на него уходит невероятное количество негативных эмоций и денег.

Где-то в октябре я наконец нашла стоящего психотерапевта, который помог мне признать абьюзивность ситуаций, в которые я себя загоняю. И увидеть дыру внутри, которую я заполняю чем не попадя: продуктами, проектами, менторством, фигурным катанием, пет проджектом, преподаванием, выступлениями, едой.

Чему я при этом говорила «не сегодня»?
1. Системному внерабочему развитию, книгам и оплаченному доступу к EpicGrowth.
2. Нормальным отношениям с друзьями-неколлегами. Но, благо друг, с которым я сейчас больше всего общаюсь, пингует меня, кидает фотки с котиками и достает из того кокона, в который я спряталась ❤️
3. Просто нормальным отношениям.
4. Моему каналу 💔 (исправляюсь!).
5. Проблемам с ремонтом, который непозволительно затянулся.
6. Пет проджекту по фигурному катанию и желанию писать статьи про мужское одиночное на Спортс.ру – И СЛАВА БОГУ.

Я никогда раньше не выгорала не из-за работы. Я думала, что все нормально, я максимально строго слежу за life/work balance, вовремя ухожу из офиса, редко кому отвечаю в выходные и упаси боже меня в выходные открыть ноут не ради сериала.

И сейчас у меня буквально противоположное состояние с моими предыдущими (пред)выгораниями: я с радостью иду на работу, беру новые продукты, вовлекаюсь в смежные активности и хакатоны, но при этом после работы ничего не хочу и даже руку поднять не могу.

Предвыгоревшее состояние – ужасная штука. Ты вроде бы понимаешь, что все ок, но при этом эмоциональное состояние обостряется настолько, что начинаешь срываться на людей, хочется сначала напиться кофе до состояния продуктивности, а вечером гасить это состояние успокоительным, хочется разогнаться до 200 км/ч, чтобы почувствовать вдохновение и свободу, а по итогу оказываешься на трассе с разбитой в тотал машиной.

❣ Если заметите в себе увеличившуюся раздражительность, циничность, уменьшившуюся эмпатию, постоянное обесценивание того, что вы делаете, результатов, которых вы достигаете, то просто притормозите и посмотрите со стороны на свое эмоциональное состояние. Возможно, нужно просто нахрен остановиться.

"Если автоматизировать хаос, то вы получите не диснеевский замок, а автоматизированный хаос"

Пару недель назад записывала вебинар про диджитализацию HR вместе с ProductStar и TeachBase, а к сегодняшнему дню ребята успели его разобрать на целых две статьи, одну из которых выложили на VC.
Прочесть статью

Сегодня увидела, что в комментариях целая дискуссия развернулась о том, что такое продукты в HR 😏

Для меня эта статья и этот вебинар ценны тем, что мы в первый раз рассказали о том, что мы сделали в Avito People с точки зрения влияния на метрики и процессы Performance Review, и как команда мы очень гордимся результатом 💜
Клево, что у нас это становится возможным.

Продакты внутренних продуктов слабее?

В последнее время много сталкиваюсь с проблемой восприятия продактов внутренних продуктов и их скиллов лид продактами внешних продуктов. Чаще всего, конечно, такая проблема проявляется в рекрутменте, когда ПМы внешних решений оценивают ребят с опытом внутренних продуктов.

И знаете что? Если оценивать их как ПМов на внешние продукты, то в большинстве своем они реально не тянут. Но! Когда я оцениваю ПМа с B2C/B2B опытом к себе на внутренние решения, то – сюрприз – он с вероятностью 90% тоже не тянет.
И дело не в том, что кто-то сильнее, а кто-то слабее. Это специфика опыта и направленности фокуса и интересов.

Какие я вижу различия в скиллах, которые проявляются сразу, как человек становится хотя бы джун+?

📊 Другие метрики. Недавно на тусовке общалась с крутым мальчиком, который занимался продуктами для customer support. Мальчик очень круто рассказывал про метрики своего продукта, для него не было труда выделить ключевые метрики саппорта, на которые он может повлиять, но кроме них он сказал про сокращение времени бизнеса и стоимости разработки. И это было максимально круто! Во-первых, человек реально называет те метрики, которые важны для бизнеса, помогают ему либо заработать деньги, либо сэкономить (а не какой-нибудь пресловутый NPS, который все так любят неправильно замерять). Во-вторых, он знает изначальное значение этой метрики и ее значение после своего влияния. В-третьих, он смог изменениями в продукте на нее повлиять. Ну magic же!

С нами в разговоре участвовал ПМ внешних продуктов, который разгромил буквально все, что сказал мальчик. Ему метрики показались глупыми: «логично, что ты делаешь изменение в продукте, и время на процесс сокращается. Почему ты не говоришь ничего про ретеншн или конверсию?» Но какой ретеншн? И конверсию во что? Это же внутренний продукт. Если смотреть по дням, то Avito People ретеншн вышел на плато на уровне 45%. А месячный стремится к 100%. Я не говорю, что ретеншн – мусорная метрика для всех внутренних продуктов, но для большой ее части – да. На каждом внутреннем подпродукте должна быть своя основная метрика, которая обусловлена целями сегмента бизнеса, для которого создается этот продуктик.

⚖ Мы почти не делаем А/В. Это правда. Для нас это довольно дорого, не говоря уже о том, что не всегда хватает аудитории для нормального сравнения выборок. А еще есть этическая сторона: мы берем группу своих сотрудников и для них делаем лучше или хуже. И на 100% в компании узнают о том, что проводится тест, и либо попросятся в него, либо попросят себя оттуда исключить. Мы в Пипле видели необходимость провести А/В в прошлом квартале, и для нас это стало чуть ли не одной из квартальных целей. И без такой же острой необходимости я больше не пойду его проводить.
При этом я согласна с тем, что ПМ внутренних продуктов должен знать теорию и уметь запускать А/В. А еще иметь сильную аналитическую подкованность и знать, как работать с данными количественных исследований.

🩼 Приоритизация с костылями. На внутренние продукты всегда мало ресурсов. И это говорю даже я, у которой в этом квартале 4 команды занимаются только C&B продуктами. Людей не хватает всегда, уровень автоматизации разных процессов всегда разный, где-то метрики вышли на бэйзлайн, а где-то Цели все еще в эксельке ставятся. И классический RICE не подходит. В нашей приоритизации много математики, но кроме нее и много коммуникаций с заказчиком и жестких решений на уровне «берем эти три стрима, а эти три на фича фризе весь год».

⚙ Необходимость понимать бизнес-процессы. Честно, всегда сложно адаптировать человека, который умеет в go-to-market и понимает маркетинг, но не знает, из чего складывается условная воронка на подбор. И наоборот. Понятно, что это хард скиллы, которые набираются довольно быстро, но все же. На моей практике самые сильные ПМы на HR работали в HR и трогали процессы руками. Либо обладают очень сильной learning agility.

Кстати, если вы занимаетесь внутренними продуктами, но мы еще не знакомы, пишите в личку, и давайте это исправим 😉

В текущий момент очень сложно собирать себя эмоционально и что-то делать. Особенно в нерабочих активностях.
Делать вид, что все нормально, ходить на вебинары, ездить на конференции и выигрывать на них мягкие игрушки (дико кайфую от единорога и слоника, которых сегодня получила на SaintTeamLead Conf, простите).
Кажется, люди сейчас разделились на 2 части: первая не ходит на тимбилдинги, отменяется с конференций, не может думать про развитие, испытывает сложности в выполнении бытовых задач. Вторая принимает антидепрессанты и/или таблетки от тревожности, пытается забить свою жизнь всевозможными активностями для отвлечения, отрицает и делает вид, что ничего не поменялось.

Я из второй категории и мое сообщение направлено в первую очередь на тех, кто тоже в ней.

Мы с ребятами из ProductStar хотим в вами поговорить про такую популярную тему, как планы развития. Как мне кажется из опыта, их делают ну почти все. Но реально делают не отписку, а полезную для роста шутку ну прям единицы. Мы с Юлией, экспертом из Beehive, хотим порассуждать про то, как надо и как не надо делать ИПРы. А я со своей стороны добавлю продуктовой части: про метрики развития, которые можно тречить, а также про необходимость автоматизировать процесс, если она есть (кстати, хороший вопрос 😉).

Если вы помните, я дикая душнила в том, что касается качества планов развития, на старте канала делала поста 3-4 на эту тему. А ещё в начале своей карьеры в Марсе выносила мозг своим клиентским группам по тому, какие должны быть у них планы развития, чтобы вывести метрики на бэйзлайн они работали.

Поэтому, если у вас есть интерес к теме и ресурс, регистрируйтесь и приходите послушать.
Хочу прийти!

P.S. Надеюсь, вы в безопасности там, где сейчас находитесь, либо на пути к ней ❤️

Минутка душности: мне очень интересно, как Старбакс 2.0 просчитывал бизнес-эффект от автоматизации надписей на стаканчиках😁 На какую метрику они хотели повлиять? Уменьшить время ожидания в очереди? Сократить затраты на маркеры?
Не могу представить себе мир, в котором эта разработка могла бы окупиться. А вы?

P.S. O, при этом моё имя все ещё написано маркером😂

🎤 Появилась запись вебинара про развитие сотрудников, который проводили вместе с ProductStar и Beehive. Все как я люблю: начали от цели процесса, а закончили метриками и автоматизацией.

Смотреть!

Друзья, 17го ноября (следующий четверг) на конференции Sbergile Talks Pro буду рассказывать про внутренние продукты. Заходите в канал, с завтрашнего дня там появятся подробности ❤️

Доброе утро!☕️
Уже через час начнётся конференция Sbergile Talks Pro, на которой я выступаю.

Меня можно будет увидеть дважды:
В 10.20 начнётся панельная дискуссия, на которой продакты, занимающиеся совершенно разными аудиториями пользователей будут говорить о том, как найти баланс между прибылью (или экономией денег) и лояльностью. Будут ребята из B2B, B2C, B2G, а я представлю сегмент В2Е (business to employees). Будет бомба💥

В 14.45 будет моё выступление про внутренние продукты. Я расскажу о том, как мы последние полтора года работали с Avito People как с продуктом, как выбирали новую цель, как тречим метрики и ведём дискавери. Как обычно с фокусом на самом дорогом моему сердцу подпродукте.

Кроме меня будет выступать множество других топовых ребят - сама останусь на площадке на весь день их послушать.

Программу конференции и трансляцию можно посмотреть на сайте: https://promo.sber.ru/stpro22/

А ещё я только что осознала, что это будет моё последнее выступление про Авито Пипл на большую аудиторию.
Скоро поделюсь новостями. Дальше - больше!⚡️

Как не терять деньги на внутренних продуктах

🎅 В прошлом году я попросила у Деда Мороза выступить на конференции. И под конец года мое желание сбылось - спасибо огромное Сберу, что позвали меня на Sbergile Talks поговорить про внутренние продукты.
Особенно мое сердечко грело то, как им была близка эта тема - редко компании понимают, почему это важно.

Мне кажется, рассказ получился хороший. Я вместила в 20 минут всю мою любовь к Авито Пипл - ведь это был мой последний доклад на большую аудиторию в роли продуктового лидера HR автоматизации в Авито (с нового года меняю продукт внутри компании).

Посмотреть запись выступления можно по ссылке.

Меня часто спрашивают, а как стать продактом, если работаешь не в ИТ, чему научиться. И вроде бы в основном важны базовые склонности и софты, но при этом - кам он - это же ИТ, где нужно ставить задачи команде разработки. А еще понимать, например, преувеличивают они где-то сроки или нет.

Поучаствовали вместе с Авито в дискуссии Нетологии про навыки идеального продакта для разработчика.

Довольно смешно, что я в статье в говорю, что идеальный продакт в том числе должен заранее прорабатывать важные и сложные моменты функционала до реализации. А прямо сейчас сижу и логирую блок-схемой баг, который вылез из-за недостаточного погружения как раз в один такой важный и сложный момент - УПС. Надеюсь, скоро привыкну к новому продукту и буду уже сама знать его особенности.

Читать всю статью на VC