Метрики и KPI – измеряем проект, процесс, команду

Сергей Стефурак@stfods

Let’s start

• 11+ лет в SW Development

• 9 лет опыт управления в QA and Dev

• Сейчас: STL + CPE Program manager

• Я люблю числа и метрики

Метрики, показатели, измерения

• Измерения – даем качественную или количественную характеристику наблюдениям

• Метрика – функция, а показатель - результат применения метрики

• Часто называют метрикой именно результат измерений

Метрики, показатели, измерения

Зачем нужны метрики?

• Вопросы для менеджера:

• Какой статус в твоем подразделении / с твоим проектом?

• Откуда ты это знаешь?

• Улучшается ли ситуация?

• Откуда ты это знаешь?

Управление через измерение и улучшение

• Measurement is the first step that leads to control and eventually to improvement. If you can’t measure something, you can’t understand it. If you can’t understand it, you can’t control it. If you can’t control it, you can’t improve it.

- H. James Harrington

• You cannot control what you cannot measure - Tom DeMarco

Зачем нужны метрики?

•Не можешь измерить – не можешь управлять

(На самом деле, не всегда, но часто в нашей индустрии)

Метрики и их виды

Метрики могут быть полезны, но

• Как выбрать метрики?

• Могут ли метрики вредить?

Выбор метрик: некоторые примеры

• Для гибкой разработки

• Качество, код, релиз критерии, …

• Индивидуальные метрики

Sprint Burndown

Помогает отследить• Оценки завышены, занижены• «ступеньки»• Изменения scope

Epic/Release/version Burndown

Помогает отследить• Прогнозы релиза не обновляются по мере

работы• Прогресс в итерации не делается• Scope растет быстрее чем команда способна

его выполнять

Velocity

Помогает отследить• Проблемы с эстимированием• Стабильность команды• Внешние факторы, влияющие на работу команды

Cycle Time

Помогает отследить• Скорость с которой команда может реагировать на

изменения приоритетов

Cumulative Flow Diagram

Помогает отследить• Проблемы на отдельных этапах

Метрики для кода

• Наиболее применимо к новым проектам• Удобно собирать их автоматически• SonarQube

• Покрытие тестами (line, branch)• Документированность • Копи-паст дривен девелопмент• Цикломатическая сложность• Замечания

Метрики для качества

• Сколько найдено дефектов (и каких)• Регрессии?• В процессе разработки• После релиза сотрудниками организации?• После релиза кастомерами?

• ADR• Релиз критерии

• Напр: Count(секьюрити + регрессии + High/Urgent) = 0

Почему бы не ввести оплату по метрикам?

• Частый вопрос

Метрики для незнакомой индустрии

Джек-пот

• Lines of code• Bugs fixed• Среднее время телефонного звонка

Метрики для оплаты

• Применимы тем хуже, чем сложнее задачи и выше квалификация

• Подменяют внутреннюю мотивацию внешней • Могут работать на уровне команды для

распределения бонусов• Подвержены всем проблемам метрик и KPI

Введем понятие KPI• Key Performance Indicator

• Любой KPI– Метрика, но не наоборот!

• KPI нужны для трансляции стратегии топ-менеджмента

• Определяются Line of Business owner / VP / C* -executives

KPI vs метрики

• Свойства KPI• Отражает цели организации

• Определяется менеджментом (идет сверху)

• KPI обладает контекстом

• KPI имеет значение на каждом уровне организации

• Базируется на реальных данных

• Легок к пониманию

• Мотивирует к действию

• Многие предпочитают SMART- критерий

KPI – примеры – SaaS стартап

• Посетители в месяц• Новые и утраченные подписки в месяц • Конверсия• MRR, CAC, ARPA

KPI – enterprise

Реальный пример KPI для enterprise • Демонстрировал, как определенный выбор

KPI приводит не к тем изменениям в поведении команд и департаментов, которые ожидались

• Пример организационной дисфункции

Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности

KPI – enterprise - развитие

• KPI спускается на уровень групп и команд

• Менеджеры добавляют метрики специфичные для своих подразделений

• Цели для отдельных инженеров становятся частью PE

Пример KPI для enterprise – как изменились KPI с прошлого слайда после нескольких лет для того чтобы избежать негативных последствий в поведении

Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности

KPI / метрики - опасности

• Подмена понятий

• Манипуляции и игры

• Метрика меняет систему; организационная дисфункция

• Потеря фокуса

Если вы вводите метрики

• Определитесь с вашими проблемами и целями

• Выберите метрики

• Оптимизируйте стоимость и полезность

• Продумайте их фальсифицируемость

• Уберите лишние метрики

Если меряют вас

• Считаете ли вы метрики хорошими?• Если да, то вам повезло

• Можете ли вы их изменить?

• Если нет, ищите слабые места (игры)

• Защищайте команду от плохих метрик

Questions?

Sergey Stefurak@stfods

Thank you!