Дима, так чем же занимается продуктовый аналитик?

Продуктовая аналитика — это процесс создания методов сбора, анализа и интерпретации данных, связанных с развитием какого-то цифрового продукта. Этот процесс помогает понять, как пользователи взаимодействуют с продуктом и как улучшать продукт, чтобы закрывать их потребности и зарабатывать деньги.

Главная задача продуктового аналитика — обеспечить процессы принятия решений, которые приведут к устойчивому долгосрочному продуктовому развитию. Для этого нужно подружить объективные потребности пользователей со сложным миром бизнеса.

Из каких этапов состоит работа продуктового аналитика?

Сбор первичных данных. На первом этапе продуктовый аналитик собирает информацию о пользователе: как, где и когда он взаимодействовал с продуктом. Обычно такие данные появляются в результате логирования действий пользователя в системе: какие страницы или экраны он просматривает, на какие кнопки нажимает и так далее.

Предобработка. Аналитик следит за качеством первичных данных: контролирует полноту логов, выполняет очистку данных и устраняет пропуски. Также зачастую на этапе предобработки данные обогащаются: к ним добавляется дополнительная информация, облегчающая их дальнейшую обработку и анализ.

Разведочный анализ. В ходе разведочного анализа устанавливаются основные эмпирические закономерности, характерные для исследуемых данных: описательные статистики, соотношения между различными показателями, а также их динамика во времени, поведение на различных срезах. Если в ходе разведочного анализа выявляются проблемы, связанные со сбором и предобработкой первичных данных, аналитик корректирует соответствующие процессы подготовки данных.

Моделирование. На этом шаге продуктовый аналитик переходит от наблюдений и описаний к построению моделей — оценке целевых показателей, проверке гипотез с помощью экспериментов, прогнозированию — с последующими выводами на основе данных.

Визуализация данных. Одна из ключевых задач аналитика — информирование членов команды о процессах, происходящих внутри продукта. Для этого аналитик представляет данные в наглядной форме: выводит их на дашборды, вставляет в отчёты и презентации. Наглядные, прозрачные, полные и достоверные данные — залог высокого качества принимаемых продуктовых решений.

В конечном счёте аналитик помогает команде эффективно вырабатывать управляющие воздействия на продукт: внедрять новые фичи, улучшать сценарии взаимодействия пользователя с продуктом, повышать степень удовлетворённости пользователей.

С какими данными работает аналитик?

• Клиентские логи содержат информацию о том, как и где пользователь взаимодействовал с приложением или сайтом. Они рассказывают аналитику историю работы с продуктом глазами пользователя: откуда он пришёл, какие элементы интерфейса привлекли его внимание, с какими из них он взаимодействовал, что, наоборот, пролистнул, куда перешёл внутри продукта и куда ушёл после.

• Серверные логи содержат информацию о том, что происходило на сервере: запросах, ошибочных ситуациях, подключениях и других событиях, происходящих внутри приложения или сайта. К ним обращаются, если нужна информация о логике работы приложения, которая не может быть получена по данным клиентских логов, а также для контроля полноты и согласованности логирования.

• Офлайн-данные содержат информацию о продукте, полученную за рамками онлайн-взаимодействия с пользователем. Обычно это фидбек, собранный за пределами самого продукта: отзывы, комментарии, результаты опросов.

• Данные внешних систем содержат информацию о пользовательских сценариях, вышедших за пределы приложения или сайта. Их собирают системы отслеживания конверсий и аналитические платформы. Например, с помощью сервиса аналитики мобильных приложений App Annie можно выяснить, где находится исследуемый продукт относительно других продуктов этой же категории.

Круто, а за что отвечает продуктовый аналитик в команде? C кем он коммуницирует ежедневно?

Аналитик находится там, где происходят процессы обработки данных и принятия решений:

• Коммуницирует с менеджером по развитию продукта.

• Строит с маркетологом маркетинговую стратегию, учитывающую особенности продукта.

• Синхронизируется с UX-дизайнером для понимания, как пользователи взаимодействует с интерфейсом и насколько сайт или приложение удобны.

• Общается с разработчиком для формализации требований к логированию.

• Зачастую связующим звеном между разработчиком продукта и аналитиком становится дата-инженер. Он берёт на себя работу по созданию сложных технологических цепочек преобразований сырых данных, чтобы аналитик мог сфокусироваться на содержательных аспектах работы с данными.

Очертить зону ответственности аналитика сложно: нельзя предложить какое-то универсальное решающее правило, чётко разделяющее задачи аналитика и, скажем, разработчика. При этом аналитик должен уметь видеть продукт глазами менеджера, маркетолога, дизайнера и разработчика одновременно. Только так у него есть шанс создать корректную методологию, обеспечивающую процесс гармоничного продуктового развития на основе данных.

Какие инструменты использует в работе продуктовый аналитик в Яндексе?

YT. Распределённая система хранения данных, построенная на основе парадигмы MapReduce.

ClickHouse. Аналитическая система управления базами данных, ориентированная на хранение и быструю обработку больших данных.

YQL. Внутренний сервис Яндекса, с помощью которого можно писать SQL-запросы к системам хранения данных.

Яндекс Метрика. Сервис, предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей.

AppMetrica. Сервис для трекинга и аналитики мобильных приложений, который собирает и обрабатывает информацию о приложении и его пользователях.

Jupyter Notebook. Система интерактивных блокнотов для работы с исходным кодом, которую аналитики используют в качестве среды обработки данных на языке программирования Python.

Интересно, а с какими вопросами приходят к тебе как к продуктовому аналитику?

• Мы тут без эксперимента катнули новую фичу в приложении, и пользователи стали уходить, что делать?

В Яндексе мы ситуацию до такого запущенного состояния обычно не доводим. Но если вдруг такое произошло, я должен для начала выяснить, как понять текущее отношение пользователей к этой фиче, чтобы принять решение о необходимости её отката. Другими словами, я должен минимизировать негативные последствия ошибочно принятых решений.

• Метрики в прошлом месяце просели, не понимаем, что случилось, поможешь?

Я исследую метрики продукта, устанавливаю внутренние и внешние факторы, которые могли вызвать проседание, ищу триггерные события, такие как релизы или внешние шоки, а также пытаюсь сопоставить изменения с общей динамикой рынка. В результате, как правило, удаётся выяснить, что, вероятнее всего, произошло на самом деле, и дать рекомендации, как это исправить.

• Как бы нам изменить продукт, чтобы пользователям стало лучше (или точно не хуже), но мы ещё и денег заработали?

Для начала хорошо бы убедиться, что мы адекватно управляем ожиданиями команды. Когда продукт достигает определённого уровня зрелости, очень сложно добиться улучшения всех хороших метрик сразу. Тут скорее характерны компромиссы, например между полученным доходом и счастьем пользователя. С этим можно долго экспериментировать, чтобы договориться о каком-то балансе, но в сложных ситуациях нужны ещё и стратегические ориентиры.

Для управления на больших горизонтах планирования очень помогает иерархия метрик, в основе которой находится то, что компания хочет стратегически растить (например, рыночная доля), с последующей детализацией до конкретных инструментов, с помощью которых это можно сделать. Опираясь на этот фундамент, проще находить потенциальные точки роста дохода, не убивая при этом метрики, обеспечивающие долгосрочное продуктовое развитие.

Если меня попросят сформулировать одной фразой, что я делал в Яндексе шесть лет, я отвечу: превращал непонятное в понятное.
Дима Кириллов, руководитель группы расширенной аналитики данных в Яндексе

Круто, а какие знания и навыки нужны, чтобы стать продуктовым аналитиком?

Владение технологиями работы с большими данными. Продукты для массовой аудитории генерируют очень много данных. Важно уметь быстро и качественно обрабатывать их на всех этапах, поэтому эффективное владение современными технологиями и инструментами для работы с большими данными здесь играет ключевую роль.

Навык программирования. Не обязательно быть разработчиком с опытом, но необходимо владеть популярным в среде аналитиков языком программирования Python и уметь с его помощью решать практические задачи обработки данных. Знание других языков программирования не требуется, однако часто бывает полезным в технически сложных проектах, предполагающих интенсивное взаимодействие с разработкой.

Знание языка запросов SQL. Язык SQL уже давно стал одним из ключевых стандартных инструментальных средств обработки данных. В аналитике без него никуда.

Знание теории вероятностей и математической статистики. Делать выводы на основе данных можно только при наличии глубокого понимания вероятностной природы нижележащих процессов. Уверенное владение методами математической статистики позволяет строить адекватные стохастические модели и делать обоснованные выводы в условиях неопределённости.

Английский язык. Любому специалисту в развивающейся современной области знаний важно владеть английским как минимум на уровне Intermediate, чтобы быть в контексте актуальных тенденций и лучших практик: читать документацию, книги, статьи, материалы конференций.

А как ты сам попал в Яндекс?

Я начал карьеру 20 лет назад в Центре управления полётами. Мы с командой занимались задачами на стыке аналитики и того, что сейчас называется дата-инженерией. Это было безумно интересно, и я понял, что хочу заниматься обработкой и анализом данных. В этом же направлении я развивался потом в различных инвестиционных компаниях: обрабатывал временные ряды и строил стратегии управления капиталом.

Шесть лет назад я пришёл в Яндекс как аналитик данных. Первые два года в Яндексе мы с командой активно занимались продуктовым развитием сервисов Почты — опыт невероятный, эта работа меня захватила. В дальнейшем я вернулся к задачам на стыке аналитики и разработки, но сохранил при этом продуктовое мышление и соответствующую систему ценностей.

Сейчас я занимаюсь созданием сложных дата-продуктов для широкой категории внутренних пользователей. Это тоже продуктовое развитие, но оно сфокусировано вокруг данных, которыми мы можем системно помогать направлениям Яндекса. Например, наш продукт Business DWH помогает отвечать на вопросы о том, с какими бизнесами работает Яндекс. Это интереснейшая задача, по сути — внутренний продукт для B2B-коммуникации внутри компании. Моя роль как тимлида состоит в том, чтобы организовать и выстроить работу команды и смежников. При этом руками данные уже давно кручу не так часто, как хотелось бы.

Что посоветуешь новичкам?

Не пытайтесь прикрываться математикой. Лучше поймите, что происходит с вашим продуктом в реальности. Представьте это на уровне рабочей ментальной модели: отталкиваясь от неё, вы гораздо лучше разберётесь в любой ситуации. Продуктовый анализ — это намного больше, чем анализ метрик.

Не бойтесь залезть по уши в данные. Не жалейте времени на работу с сырыми данными, выяснение их качества, разведочный анализ, кросс-валидацию полученных моделей. Всегда помните золотые слова великих: мусор на входе — мусор на выходе.

Не бойтесь ошибиться. Это звучит банально, но вероятность совершить ошибку заложена в саму природу любого процесса принятия решений в условиях неопределённости. В частности, любой статистический метод допускает возможность случайных ошибок первого или второго рода. Гораздо большего внимания заслуживают систематические и методологические ошибки, но и они имеют шанс на устранение только у тех, кто действует — и ошибается. Старайтесь воспринимать допущенные вами ошибки как потенциальные точки роста. Всегда помните, что ваши ошибки — это точно такие же данные, на основе которых можно и нужно делать конструктивные выводы и идти дальше.

Что почитать начинающему продуктовому аналитику

• Lean Analytics, Alistair Croll.

• «Python и анализ данных», Уэс Маккинни.

• «Анализ результатов наблюдений», Дж. Тьюки.

• «Данные: визуализируй, расскажи, используй», Коул Нафлик.

• «Практическая статистика для специалистов Data Science», Питер Брюс.

• «Доверительное A/B-тестирование», Рон Кохави, Диана Тан, Я Сюй.