Заметки консультанта

Шамрай Александр Владимирович

Posts Tagged ‘analysis’

CMMI DEV v1.3 – Анализ и Принятие Решений

Posted by Шамрай Александр на Июль 19, 2011

Перевод Шамрай А.В.

Процессная область Поддержки уровня зрелости 3

Назначение

Назначением Анализа и Принятия Решений (АПР) является анализ возможных решений, используя формальный процесс оценки, который оценивает выявленные альтернативы на основе установленных критериев.

Вступительный комментарий

Процессная область Анализ и Принятия Решений включает в себя процесс установки руководящих принципов для того, чтобы определить, какие вопросы должны быть предметом формального процесса оценки, и применения формальных процессов оценки по этим вопросам.

Формальный процесс оценки представляет собой структурированный подход к оценке альтернативных решений с учетом установленных критериев для определения рекомендованных решений.

Формальный процесс оценки включает в себя следующие действия:

  • Установка критериев оценки альтернатив
  • Определение альтернативных решений
  • Выбор методов оценки альтернатив
  • Оценка альтернативных решений с использованием установленных критериев и методов
  • Выбор рекомендуемых решений из альтернатив на основе критериев оценки

Вместо того чтобы каждый раз использовать фразу «альтернативные решения для решения вопросов» в этой процессной области будет использоваться одна из двух коротких фраз: «альтернативные решения» или «альтернативы».

Формальный процесс оценки снижает субъективный характер принятия решений и обеспечивает более высокую вероятность выбора решения, отвечающего различным требованиям соответствующих заинтересованных сторон.

Хотя главное применение этой процессной области заключается в технических проблемах, формальные процессы оценки могут быть применены ко многим нетехнических вопросам, в частности, когда проект находится в стадии планирования. Вопросы, которые имеют несколько альтернативных решений и критерии оценки, поддаются формальной процедуре оценки.

Поиск лучшего решения для оборудования или программного обеспечения являются типичными примерами формальных процессов оценки.

Во время планирования определяются конкретные вопросы, требующие формального процесса оценки. Типичные вопросы включают отбор среди архитектурных и альтернатив проектирования, использование многоразовых или коммерческих готовых компонентов, выбор поставщика, условий технической поддержки или связанные с ними инструменты, тестовые среды, поставка альтернатив, а также логистика и производство. Формальный процесс оценки может также быть использован для принятия решения сделать-или-купить, разработки процессов производства, выбор мест распространения, а также другие решения.

Руководство создается для принятия решения, когда следует использовать формальные процессы оценки для решения незапланированных вопросов. Руководство часто предлагают использовать формальные процессы оценки, когда вопросы связаны с рисками со средним-высоким уровнем влияния или когда проблемы влияют на возможность достижения целей проекта.

Определение вопросов хорошо помогает определить границы альтернатив, подлежащих рассмотрению. Правильные границы (т.е. не слишком широкие, не слишком узкие) помогут при принятии соответствующего решения для решения выделенных вопросов.

Формальные процессы оценки могут варьироваться в формальности, типа критериев и методов. Менее формальные решения могут быть проанализированы в течение нескольких часов, используя несколько критериев (например, эффективность, стоимость реализации), и результатом чего будет одно или двухстраничный отчет. Для более формальных решений может потребоваться отдельное планирование, месяцы работы, встречи для разработки и утверждения критериев, моделирования, прототипов, пилотов и подробной документации.

Оба, числовые и нечисловые критерии, могут быть использованы в формальном процессе оценки. Числовые критерии используют вес с учетом относительной важности критериев. Нечисловые критерии используют субъективное ранжирование масштаба (например, высокий, средний, низкий). Более формальные решения могут требовать полного отраслевого обследования.

Формальный процесс оценки выявляет и оценивает альтернативные решения. Возможный выбор решения может включать в себя итерационную деятельность идентификации и оценки. Части определенных альтернатив могут быть скомбинированы, новые технологии могут изменить альтернативы, а также бизнес-ситуации поставщиков могут меняться в течение периода оценки.

Альтернативы рекомендуется сопровождаться документированием выбранных методов, критериев, альтернатив и обоснования рекомендаций. Документация распространяется среди соответствующих заинтересованных сторон, она обеспечивает запись формального процесса оценки и обоснования, что будет полезно для других проектов, которые могут столкнуться с аналогичной проблемой.

Некоторые из решений, принятых в течение всего времени действия проекта связаны с использованием формального процесса оценки, другие нет. Как уже упоминалось ранее, руководящие принципы должны быть созданы, чтобы определить, какие вопросы должны быть предметом формального процесса оценки.

Связанные процессные области

См. процессную область Комплексное Управление Проектом для получения дополнительной информации о создании определенного процесса проекта.

См. процессную область Управление Рисками для получения дополнительной информации об определении и анализе рисков и снижении рисков.

Перечень специфических целей и практик

  • СЦ 1 Оценить Альтернативы
    • СП 1.1 Разрабатывайте Руководства для Анализа Решений
    • СП 1.2 Устанавливайте Критерии Оценки
    • СП 1.3 Определяйте Альтернативные Решения
    • СП 1.4 Выберите Методы Оценки
    • СП 1.5 Оценивайте Альтернативные Решения
    • СП 1.6 Выберите Решения

Специфические практики по целям

СЦ 1 Оценить Альтернативы

Решения приняты на основе оценки альтернатив с использованием установленных критериев.

Вопросы, требующие формального процесса оценки, могут быть идентифицированы в любое время. Цель заключается в выявлении таких вопросов, как можно раньше, чтобы максимизировать возможное время для их решения.

СП 1.1 Разрабатывайте Руководства для Анализа Решений

Создавайте и поддерживайте принципы для определения, какие вопросы могут иметь формальный процесс оценки.

Не каждое решение может быть достаточным, чтобы требовать формального процесса оценки. Выбор между тривиальным и действительно важным вопросом неочевиден без явного руководства. В любом случае, решение существенно или нет, это обуславливается проектом и обстоятельствами и определяется установленными правилами.

Типичные руководства для определения того, что требуется формальный процесс оценки, включают следующее:

  • Решение напрямую связано с вопросами, которые имеют риск от среднего до высокого уровня влияния.
  • Решение, связанно с изменением рабочих продуктов, которые находятся под управлением конфигурацией.
  • Решение вызовет отставание от графика на определенный процент или количество времени.
  • Решение влияет на достижение целей проекта.
  • Расходы на формальный процесс оценки являются обоснованными по сравнению с воздействием решения.
  • Существуют юридические обязательства в требованиях.
  • Когда конкурирующие требования к атрибутам качества могут привести к отличной архитектурной альтернативе.

См. процессную область Управление Рисками для получения дополнительной информации об оценке, классификации и установке приоритетов для рисков.

Примеры деятельностей, которые могут использовать формальный процесс оценки, включают следующие:

  • Принятие решений, связанных с закупкой материала, когда 20 процентов партии материала составляет 80 процентов от общей стоимости материалов
  • Принятия решения по проектированию, когда проблемы технической производительности могут вызвать катастрофический сбой (например, безопасность полетов)
  • Принятие решений, способных существенно снизить риск проектирования, инженерных изменений, время цикла, время отклика и стоимости производства (например, использовать литографические модели для оценки формы и соответствия возможности перед выпуском инженерных чертежей и производственных сборок)

Пример рабочих продуктов

1. Руководство для принятия решения, когда необходимо применять формальный процесс оценки

Подпрактики

1. Разрабатывайте руководства для принятия решения, когда необходимо использовать формальный процесс оценки.

2. Включайте использование руководящих принципов в определенный процесс по мере необходимости.

См. процессную область Комплексное Управление Проектом для получения дополнительной информации о создании определенного процесса проекта.

СП 1.2 Устанавливайте Критерии Оценки

Создавайте и поддерживайте критерии оценки альтернатив и относительный ранг этих критериев.

Критерии оценки служат основой для оценки альтернативных решений. Критерии ранжируются так, что самый высокий ранг критерия оказывает наибольшее влияние на оценки.

На эту процессную область ссылаются во многих других процессных областях в модели, и существует много контекстов, в которых формальный процесс оценки может использоваться. Поэтому в некоторых ситуациях может оказаться, что критерии уже были определены как часть другого процесса. Данная практика не предполагает, что разработка критериев должна проводиться заново.

Четко определенная постановка вопроса для рассмотрения и решения для принятия фокусируют анализ, который должен быть выполнен. Такая постановка также помогает в определении критериев оценки, которые сводят к минимуму возможность того, что решения будет повторно приниматься или что основания для принятия решения будут забыты. Решения, основанные на критериях, которые четко определены и установлены, устраняют барьеры для заинтересованных сторон.

Пример рабочих продуктов

1. Документированные критерии оценки

2. Ранги важности критериев

Подпрактики

1. Определяйте критерии оценки альтернативных решений.

Критерии должны быть связаны с требованиями, сценариями, экономическим обоснованием, бизнес-целями или другими документальными источниками.

Типы критериев, которые следует рассмотреть следующее:

  • Технологические ограничения
  • Воздействие на среду
  • Риски
  • Бизнес-значение
  • Влияние на приоритеты
  • Общая доступность и стоимость жизненного цикла

2. Определяйте ранг и величину для ранжирования критериев оценки.

Величина относительной значимости критериев оценки может быть установлена с не численными значениями или с помощью формул, которые касаются оценки числового веса параметра.

3. Ранжируйте критерии.

Критерии ранжируются в соответствии с определенным рангом и величиной с учетом потребностей, целей и приоритетов заинтересованных сторон.

4. Оценивайте критерии и их относительную важность.

5. Выявляйте критерии оценки для улучшения их достоверности.

6. Документируйте обоснование выбора и отказа от критериев оценки.

Документирование критериев отбора и обоснования могут быть необходимы для обоснования решений или для использования в их будущем.

СП 1.3 Определяйте Альтернативные Решения

Определяйте альтернативные подходы к решению вопросов.

Широкий круг альтернатив может быть обнаружен с привлечением стольких заинтересованных сторон, насколько это практически оправдано. Вклад со стороны заинтересованных сторон с различными навыками и опытом может помочь командам определить и устранить допущения, ограничения и погрешности. Сессии мозгового штурма могут стимулировать инновационные альтернативы за счет быстрого взаимодействия и обратной связи.

Для анализа может быть передано не достаточно кандидатов для решений. В течение анализа другие альтернативы должны быть добавлены к списку возможных кандидатов решений. Генерация и рассмотрение различных альтернатив в начале анализа решений и процесс принятия решения увеличивает вероятность того, что приемлемое решение будет принято, и что последствия этого решения будут поняты.

Пример рабочих продуктов

1. Выявленные альтернативы

Подпрактики

1. Выполняйте поиск существующих материалов.

Поиск существующих материалов поможет обнаружить, что делали другие и внутри и вне организации. Такой поиск может дать более глубокое понимание проблемы, альтернативы для рассмотрения, препятствия на пути реализации, существующий поиск лучших решений и уроки, извлеченные из аналогичных решений.

2. Определяйте альтернативы для рассмотрения в дополнение к альтернативам, которые могут быть предоставлены с вопросом.

Критерии оценки – это эффективная отправная точка для поиска альтернатив. Критерии оценки определяют приоритеты соответствующих заинтересованных сторон и важность с технической, материально-технической стороны или другие проблемы.

Объединение ключевых атрибутов существующих альтернатив может создать дополнительные, а иногда и более сильные альтернативы.

Запрашивайте альтернативы от соответствующих заинтересованных сторон. Сессии мозгового штурма, интервью и рабочие группы могут быть эффективно использованы для поиска альтернатив.

3. Документируйте предложенные альтернативы.

СП 1.4 Выберите Методы Оценки

Выберите методов оценки.

Методы оценки альтернативных решений с учетом установленных критериев могут варьироваться от моделирования с использованием вероятностных моделей и теории принятия решений. Эти методы должны быть тщательно отобраны. Уровень детализации метода должен быть соизмерим со стоимостью, планированием, исполнением и влиянием риска.

Хотя многие проблемы могут потребовать только один метод оценки, некоторые проблемы могут потребовать несколько методов. Например, моделирование может расширить отраслевое обследование, чтобы определить, какой проект альтернативы наилучшим образом соответствует данному критерию.

Пример рабочих продуктов

1. Выбранные методы оценки

Подпрактики

1. Выбирайте методы, основываясь на целях анализа решения и доступности информации, используемой для поддержки метода.

Например, методы, используемые для оценки решения, когда требования слабо определены, могут отличаться от методов, используемых при четко определенных требованиях.

Типичные методы оценки включают следующее:

  • Тестирование
  • Моделирование и имитация
  • Инженерные исследования
  • Производственные исследования
  • Оценка затрат
  • Изучение возможностей бизнеса
  • Опросы
  • Экстраполяция на основе опыта работы на местах и прототипы
  • Рецензии и комментарии конечных пользователей
  • Решения, предоставляемые экспертами или группой экспертов (например, метод Делфи)

2. Выбирайте методы оценки на основе их способности сосредоточиться на существующих вопросах, не будучи чрезмерно под влиянием второстепенных вопросов.

Результаты моделирования могут быть искажены в результате случайных действий в решении, которые непосредственно не связаны с существующими вопросами.

3. Определите меры, необходимые для поддержки метода оценки.

Рассматривайте влияние на стоимость, график, выполнение и риски.

СП 1.5 Оценивайте Альтернативные Решения

Оценивайте альтернативные решения с использованием установленных критериев и методов.

Оценка альтернативных решений включает в себя анализ, обсуждение и рецензирование. Иногда необходимы итерационные циклы анализа. Поддержка анализов, экспериментов, прототипов, пилотирования или моделирования могут быть необходимы для обоснования выгоды и выводов.

Часто, относительная важность критериев является неточным и общей влияние на решение не является очевидным, пока не выполнен анализ. В случаях, когда результаты оценки сравнительно слабо отличаются, сделать лучший выбор среди альтернативных решений может быть сложно. Предложения для критериев и предположений должны поощряться.

Пример рабочих продуктов

1. Результаты оценки

Подпрактики

1. Оценивайте предлагаемые альтернативные решения с использованием установленных критериев оценки и выбранных методов.

2. Оценивайте допущения, связанные с критериями оценки, и доказательства того, что поддерживает предположения.

3. Оценивайте, влияет ли неопределенность значений для альтернативных решений на оценку, и решайте эти неопределенности по мере необходимости.

Например, если оценка колеблется между двумя значениями, разница достаточно существенна, чтобы изменить окончательный набор решения? Есть ли вариации в количественном значении представляющие высокое влияние риска? Для решения этих проблем, моделирование может быть использовано, дальнейшие исследования могут быть выполнены или критерии оценки могут быть изменены и т.д.

4. Выполняйте симуляции, моделирование, прототипирование, и проведение пилотов, которые необходимы для осуществления критериев оценки, методов и альтернативных решений.

Непроверенные критерии, их относительной важность, а также соответствующие данные или функции могут поставить правильность решения под сомнение. Критерии и их относительные приоритеты и величина могут быть проверены с помощью пробных пусков для множества альтернатив. Эти пробные пуски выбранных наборов критериев позволяют оценить кумулятивное воздействие критериев решения. Если пробные пуски выявляют проблемы, другие критерии или альтернативы могут рассматриваться для избегания погрешности.

5. Рассматривайте новые альтернативные решения, критерии или методы, если предлагаемые альтернативы не проходят тесты достаточно хорошо, повторяйте оценки альтернатив пока тест не пройдет.

6. Документируйте результаты оценки.

Документируйте обоснование добавление новых альтернатив или методов и изменения в критерии, а также результаты предварительных оценок.

СП 1.6 Выберите Решения

Выберите решения из альтернатив на основе критериев оценки.

Выбор решения включает в себя результаты взвешивания оценки альтернатив. Риски, связанные с осуществлением решения должны быть оценены.

Пример рабочих продуктов

1. Рекомендуемые решения для решения важных вопросов

Подпрактики

1. Оценивайте риски, связанные с реализации рекомендованных решений.

См. процессную область Управление Рисками для получения дополнительной информации о выявлении и анализе рисков и смягчении рисков.

Решения часто должны быть сделаны с неполной информацией. Здесь может быть существенный риск, связанный с решениями, которые имеют неполную информацию.

Когда решения должны приниматься в соответствии с определенным графиком, время и ресурсы могут быть недоступны для сбора полной информации. Следовательно, рискованные решения, принятые с неполной информацией могут потребовать повторного анализа позже. Выявленные риски должны быть проверены.

2. Документируйте и передавайте соответствующим заинтересованным сторонам результаты и обоснование для рекомендуемых решений.

Очень важно зафиксировать, и почему решение выбрано, и почему другое решение было отклонено.

Posted in CMMI, Стандарты и методологии | Отмечено: , , , , , , , | 2 комментария »

CMMI DEV v1.3 – Измерения и Анализ

Posted by Шамрай Александр на Февраль 17, 2011

Перевод Шамрай А.В.

Процессная область Поддержки уровня зрелости 2

Назначение

Назначением Измерения и Анализа (ИА) является разработка и поддержка возможности измерения для поддержки информационных потребностей управления.

Вступительный комментарий

Процессная область Измерение и анализ включает в себя следующие мероприятия:

  • Определение целей измерения и анализа так, чтобы они соотносились с выявленными информационными потребностями и проектными, организационными или бизнес-целями
  • Определение измерений, методов анализа, а также механизмов для сбора, хранения данных, отчетности и обратной связи
  • Применение методов и механизмов анализа для сбора и отчетности по данным и обратной связи
  • Обеспечение объективных результатов, которые могут быть использованы в принятии обоснованных решений и соответствующих корректирующих действий

Интеграция мероприятий измерения и анализа в процессы проекта предназначена для поддержки:

  • Объективного планирования и оценки
  • Отслеживания фактического прогресса и выполнения в соответствии с установленными планами и целями
  • Выявления и решения вопросов, связанных с процессом
  • Предоставление основы для включения измерения к дополнительным процессам в будущем

Сотрудники, необходимые для реализации возможностей измерений, могут быть выделены или не обязательно их выделять в отдельную организационную программу. Функции измерения могут быть интегрированы в отдельные проекты или другие организационные функции (например, обеспечение качества).

Первоначальный фокус для измерений находится на проектном уровне. Однако измерение может оказаться полезным для решения информационных потребностей всего предприятия и всей организации. С повышением уровнем зрелости организации для поддержки такой возможности деятельность по измерениям должна поддерживать информационные потребности на различных уровнях, включая бизнес, подразделение и проект, для минимизации переработок.

Проекты могут хранить данные по конкретному проекту и результаты в конкретном проектном хранилище, но, когда данные должны использоваться шире или должны быть проанализированы для поддержки определения тенденций и отклонения данных, данные могут находиться в общем хранилище измерений организации.

Измерение и анализ компонентов продукта, предоставленных поставщиками, также имеет важное значение для эффективного управления качеством и стоимостью проекта. При тщательном управлении соглашениями с поставщиками, можно обеспечить введение данных, которые поддерживают анализ выполнения работ поставщиком.

Цели измерения определяются на основе потребностей в информации, которые исходят из проектных, организационных или бизнес-целей. Когда в этой процессной области термин «цели» используется без спецификатора «измерение», это обозначает проектные, организационные, или бизнес-цели.

Связанные процессы

См. процессную область Разработка Требований для получения дополнительной информации о выявлении, анализе и создании требований заказчика, требований к продукту и к компонентам продукта.

См. процессную область Управление Конфигурацией для получения дополнительной информации об установке и поддержке целостности рабочих продуктов с использованием идентификации конфигурации, управления конфигурацией, учета состоянии конфигурации и аудита конфигурации.

См. процессную область Определение Организационных Процессов для получения дополнительной информации о создании хранилища измерений организации.

См. процессную область Мониторинг и Контроль Проекта для получения дополнительной информации о мониторинге параметров планирования проекта.

См. процессную область Планирование Проекта для получения дополнительной информации об установке оценок.

См. процессную область Количественное Управление Проектом для получения дополнительной информации об управлении проектом на основе количественных данных.

См. процессную область Управление Требованиями для получения дополнительной информации о поддержке двунаправленной трассировки требований.

Перечень специфических целей и практик

  • СЦ 1 Привести в Соответствие Мероприятия по Измерению и Анализу
    • СП. 1.1 Установите Цели Измерения
    • СП 1.2 Определите Меры
    • СП 1.3 Определите Процедуры Сбора и Хранения Данных
    • СП 1.4 Определите Процедуры Анализа
  • СЦ 2 Предоставить Результаты Измерений
    • СП 2.1 Получайте Данные Измерений
    • СП 2.2 Анализируйте Данные Измерений
    • СП 2.3 Сохраняйте Данные и Результаты
    • СП 2.4 Предоставляйте Результаты

Специфические практики по целям

СЦ 1 Привести в Соответствие Мероприятия по Измерению и Анализу

Цели и мероприятия измерений приведены в соответствие с выявленными информационными потребностями и целями.

Специфические практики в рамках этой специфической цели могут быть введены одновременно или в любом порядке.

При установке целей измерений эксперты часто просчитывают наперед необходимые критерии для определения процедур измерения и анализа. Они также одновременно учитывают ограничения в отношении процедур сбора и хранения данных.

Зачастую это важно для определения необходимых анализов, которые должны быть проведены, до перехода к детализации спецификаций измерений, сбора или хранения данных.

СП. 1.1 Установите Цели Измерения

Установите и поддерживайте цели измерений, полученные из идентифицированных информационных потребностей и целей.

Цели измерений описывают цели, для которых будет выполнено измерение и анализ, и описывают виды действий, которые могут быть предприняты на основе результатов анализа данных. Цели измерения могут также определять изменение в поведении, ожидаемого в результате выполнения мероприятий измерения и анализа.

Цели измерения могут быть ограничены существующими процессами, имеющимися ресурсами или другими ограничениями измерения. Решения по измерениям могут быть сделаны на основе соизмеримости значимости результата с ресурсами, выделяемыми на выполнение работ.

В свою очередь, изменения для идентифицированных информационных потребностей и целей могут указываться как следствие процесса и результатов измерений и анализа.

Источники информационных потребностей и целей могут включать в себя следующее:

  • Планы проектов
  • Мониторинг выполнения проекта
  • Интервью с руководителями и другими людьми, которые имеют потребность в информации
  • Установленные цели управления
  • Стратегические планы
  • Бизнес-планы
  • Формальные требования или договорные обязательства
  • Повторяющиеся или другие управленческие или технические проблемы
  • Опыт других проектов или организационных подразделений
  • Внешние стандарты производства
  • Планы совершенствования процессов

Примеры целей измерения включают следующие:

  • Обеспечить понимание колебаний и прогресса графика
  • Обеспечить понимание фактического размера в сравнении с планом
  • Определить незапланированный рост
  • Оценить эффективность обнаружения дефектов в течение всего цикла разработки продукта
  • Определить стоимость исправления дефектов
  • Обеспечить понимание фактических расходов в сравнении с планом
  • Оценить прогресс поставщика в отношении с планом
  • Оценить эффективность снижения уязвимости информационной системы

См. процессную область Разработка Требований для получения дополнительной информации о выявлении, анализе и определении заказчиков, продуктов и требований к компонентам продукта.

См. процессную область Мониторинг и Контроль Проекта для получения дополнительной информации о мониторинге параметров планирования проекта.

См. процессную область Планирование Проекта для получения дополнительной информации об установке оценок.

См. процессную область Управление Требованиями для получения дополнительной информации о поддержке двунаправленной трассировки требований.

Пример рабочих продуктов

1. Цели измерения

Подпрактики

1. Документируйте информационные потребности и цели.

2. Устанавливайте приоритеты информационным потребностям и целям.

Возможно, что обеспечить все первоначально определенные потребности в информации для измерения и анализа не является возможным или требуемым. Приоритеты могут быть также установлены в пределах имеющихся ресурсов.

3. Документируйте, пересматривайте и обновляйте цели измерения.

Тщательно проанализируйте цели и предназначение использования измерений и анализа.

Документируйте цели измерения, рассмотренные руководителями и другими соответствующими заинтересованными сторонами, и обновляйте их по мере необходимости. Это обеспечивает трассировку к последующим мероприятиям измерения и анализа, а также помогает гарантировать, что анализ будет способствовать выявленным информационным потребностям и целям.

Важно, чтобы пользователи результатов измерения и анализа участвовали в создании целей измерения и принятия решения при планировании мероприятий. Целесообразно также привлекать тех, кто предоставляет данные измерений.

4. Обеспечивайте обратную связь для совершенствования и уточнения информационных потребностей и целей по мере необходимости.

Выявленные информационные потребности и цели могут быть обновлены и уточнены в результате установки целей измерения. Первоначальные описания информационных потребностей могут быть неоднозначными. Могут возникнуть конфликты между существующими потребностями и целями. Точные цели на уже существующие меры могут быть нереалистичными.

5. Поддерживайте трассировку целей измерений выявленных информационных потребностей и целей.

Необходимо дать полный ответ на вопрос «Почему мы замеряем это?»

Конечно, цели измерения можно также изменить для отражения развития информационных потребностей и целей.

СП 1.2 Определите Меры

Определите меры для решения целей измерения.

Цели измерений преобразовываются в точные, количественные меры.

Измерение проектных и организационных работ, как правило, может быть представлено в одной или несколькими категориями измерения информации. Эти категории включают следующее: график и прогресс, усилия и затраты, размер и стабильность, качество.

Меры могут быть базовыми или производными. Данные для базовых мер получаются путем непосредственного измерения. Данные для производных мер получаются из других данных, как правило, путем объединения двух или более базовых мер.

Примеры наиболее часто используемых базовых мер:

  • Оцениваемые и фактические меры размера рабочего продукта (например, количество страниц)
  • Оцениваемые и фактические меры трудозатрат и стоимости (например, количество человеко-часов)
  • Качественные меры (например, число дефектов по степени серьезности)
  • Меры информационной безопасности (например, количество найденных системных уязвимостей)
  • Оценка удовлетворенности клиента

Примеры наиболее часто используемых производных мер:

  • Освоенный объем
  • Показатели выполнения графика
  • Плотность дефектов
  • Покрытие коллегиальной оценки
  • Покрытие тестами или верификации
  • Меры надежности (например, наработка на отказ)
  • Меры качества (например, число дефектов по степени тяжести / общее число дефектов)
  • Меры информационной безопасности (например, процент сниженных уязвимостей системы)
  • Тренды удовлетворенности клиента

Производные меры обычно выражаются в виде отношений, сложных показателей или других статистических суммарных мер. Они зачастую количественно надежнее и обоснованнее, чем интерпретируемые базовые меры, используемые для их создания.

Есть прямая взаимосвязь между информационными потребностями, целями измерения, категориями измерений, базовыми мерами, а также производными мерами. Эта прямая связь изображена с использованием некоторых наиболее часто встречающихся примеров в таблице ИА.1.

Таблица ИА.1: Пример взаимосвязи измерений

Пример проектных, организационных, или бизнес-целей Необходимая информация Цели измерения Категории измерения информации Пример базовых мер Пример производных мер
Сокращение времени поставки

Быть первыми на рынке продукта

Что является расчетным временем поставки? Обеспечить понимание колебаний и прогресса графика График и прогресс Оценочные и фактические даты начала и окончания задачи Вехи выполнения

Процент проекта по времени

Оценка точности графика

Увеличение доли рынка за счет снижения стоимости продуктов и услуг Насколько точны оценки размера и стоимости? Обеспечить понимание фактического размера и стоимости по сравнению с планом Размер и трудозатраты Оценочные и фактические трудозатраты и размер Производительность
Трудозатраты и стоимость Оценочная и фактическая стоимость Стоимость выполнения

Отклонение стоимости

Доставка специфической функциональности Границы или размер проекта выросли? Обеспечить понимание фактического размера по сравнению с планом, выявить незапланированный рост Размер и стабильность Количество требований Изменчивость требований

Точность оценки размера

Количество функциональных точек Сравнение оценочных и фактических функциональных точек
Количество строк кода Количество нового, измененного и повторно использованного кода
Сокращение дефектов в продукте, который поставляется для заказчиков, на 10% без ущерба для стоимости Где дефекты были вставлены и обнаружены до поставки? Оценка эффективности обнаружения дефектов на протяжении жизненного цикла продукта Качество Количество дефектов вставленных и обнаруженных по фазам жизненного цикла

Размер продукта

Содержание дефектов по этапам жизненного цикла

Плотность дефектов

Какова стоимость переработки? Определить стоимость исправления дефектов Стоимость Количество дефектов вставленных и обнаруженных по фазам жизненного цикла

Часы трудозатрат, потраченные для исправления дефектов

Стоимость работ

Стоимость переработки
Сокращение уязвимости информационной системы Какая величина уязвимости системы? Оценка эффективности снижения уязвимости системы Информационная безопасность Количество выявленных системных уязвимостей и количество сниженных системных уязвимостей Процент сниженных уязвимостей системы

Пример рабочих продуктов

1. Спецификации базовых и производных мер

Подпрактики

1. Определяйте кандидаты для мер, основанные на документальных целях измерений.

Цели измерений преобразуются в меры. Выявленные кандидаты для мер классифицируются и описываются с указанием их названия и единицы измерения.

2. Поддерживайте трассировку от мер к их целям измерений.

Взаимозависимости между кандидатом меры определяются для обеспечения в дальнейшем валидации данных и анализа кандидата в соответствии с целями измерения.

3. Выявляйте существующие меры, которые уже покрывают цели измерений.

Спецификация для меры, возможно, уже существует и была разработана ранее для других целей или в другом месте организации.

4. Указывайте операционные определения для мер.

Операционные определения описываются в точных и недвусмысленных терминах. Они должны соответствовать двум важным критериям:

  • Коммуникация: Что было измерено, как это было измерено, какие единицы измерения, и что было включено или исключено?
  • Повторяемость: Измерения можно повторить с учетом того же определения и так чтобы получить тот же результат?

5. Устанавливайте приоритеты, пересматривайте и обновляйте меры.

Для оценки целесообразности предлагаемые характеристики мер рассматриваются с потенциальными конечными пользователями и другими заинтересованными сторонами. Приоритеты задаются или изменяются, и технические характеристики мер по необходимости обновляются.

СП 1.3 Определите Процедуры Сбора и Хранения Данных

Укажите, как данные измерений получаются и сохраняются.

Явные спецификации методов сбора помогает гарантировать, что нужные данные собраны правильно. Эта спецификация также может помочь дальнейшему уточнению информационных потребностей и целей измерения.

Должное внимание процедурам хранения и поиска помогает гарантировать, что данные имеются в наличии и доступны для использования в будущем.

Пример рабочих продуктов

1. Процедуры сбора и хранения данных

2. Инструменты сбора данных

Подпрактики

1. Выявляйте существующие источники данных, которые создаются по текущим продуктам, процессам или операциям.

Существующие источники данных могут быть выявлены при спецификации мер. Соответствующие механизмы сбора могут уже существовать, подходящие данные могли быть уже собраны.

2. Определяйте меры, для которых необходимы данные, но в настоящее время они не доступны.

3. Указывайте, как собирать и хранить данные для каждой необходимой меры.

Явные спецификации описывают что, как, где и когда данные будут собираться и сохраняться для обеспечения их достоверности и для поддержки дальнейшего использования для анализа и документирования.

Вопросы, которые, как правило, рассматриваться, включают следующие:

  • Определены ли частота сбора и место в процессе, когда будет выполнено измерение?
  • Установлено ли время, которое необходимо для перемещения результатов измерений от точки сбора в хранилища, другие базы данных или конечным пользователям?
  • Кто несет ответственность за получение данных?
  • Кто несет ответственность за хранение данных, поиск и безопасность?
  • Разработаны или приобретены необходимые вспомогательные инструменты?

4. Создавайте руководства по механизмам и процессам сбора данных.

Механизмы сбора и хранения хорошо интегрированы с другими нормальными рабочими процессами. Механизмы сбора данных могут включать в себя ручные или автоматизированные формы и шаблоны. Четкое, краткое руководство по корректным процедурам должно быть доступно для тех, кто несет ответственность за выполнение этих работ. Обучение осуществляется по мере необходимости, чтобы прояснить процессы, необходимые для сбора полных и точных данных, и свести к минимуму нагрузку на тех, кто предоставляет и записывает данные.

5. Выполняйте поддержку автоматического сбора данных насколько это целесообразно и возможно.

Примеры такой автоматизированной поддержки включают следующее:

  • Повременные записи действий
  • Статический или динамический анализ артефактов

6. Устанавливайте приоритеты, пересматривайте и обновляйте процедуры сбора и хранения данных.

Предлагаемые процедуры рассматриваются на их целесообразность и возможность с теми, кто несет ответственность за предоставление, сбор и хранение данных. Они также могут предоставить полезную информацию о том, как улучшить существующие процессы или могут предложить другие полезные измерения или анализ.

7. Обновляйте меры и цели измерения по мере необходимости.

СП 1.4 Определите Процедуры Анализа

Укажите, как данные измерений анализируются и предоставляются.

Определение процедур анализа заранее гарантирует, что соответствующий анализ будет проведен и представлен в соответствии с документальными целями измерения (и тем самым с информационными потребностями и целями, на которых они основаны). Этот подход, по сути, также обеспечивает проверку того, что необходимые данные будут собраны. Процедуры анализа должны учитывать качество (например, возраст, надежность) всех данных, которые входят в анализ (будь то проектное, организационное хранилище измерений или другой источник). Качество данных, следует рассматривать для того, чтобы помочь выбрать соответствующие процедуры анализа и оценки результатов анализа.

Пример рабочих продуктов

1. Анализ спецификаций и процедур

2. Средства анализа данных

Подпрактики

1. Указывайте и определяйте приоритеты для анализов, которые будут проведены, и отчетов, которые будут подготовлены.

Заранее уделите внимание анализу, который будет проведен, и форме, в которой будут представлены результаты. Эти аналитические материалы и отчеты должны соответствовать следующим критериям:

  • Анализ явно указывает на документальные цели измерения.
  • Презентации результатов понятны аудитории, которой эти результаты предназначены.

Приоритеты могут быть установлены на основе доступных ресурсов.

2. Выбирайте соответствующие методы и инструменты анализа данных.

Вопросы, подлежащие рассмотрению, как правило, включают следующие:

  • Выбрать визуальное отображение и другие методы презентации (например, круговые диаграммы, гистограммы, радиальные диаграммы, линейные графики, точечные графики, таблицы)
  • Выбрать соответствующую описательную статистику (например, среднее арифметическое, медиана, тип)
  • Принять решение о статистическом выборе критериев, когда невозможно или нет необходимости рассматривать каждый элемент данных
  • Принять решение о том, как выполнять анализ при наличии отсутствующих элементов данных
  • Выбрать соответствующие инструменты анализа

Описательная статистика, которая используется при анализе данных, как правило, предназначена для выполнения следующего:

  • Изучения распределения указанных мер (например, центральная тенденция, степень изменения, данные показывающие необычные вариации)
  • Изучения взаимосвязи между указанными мерами (например, сравнение дефектов по фазам жизненного цикла продукта, сравнение дефектов по компонентам продукта)
  • Отображения изменений с течением времени

См. специфические практики Выберите Методы Измерений и Анализа и Мониторинг Выполнения Выбранных Подпроцессов процессной области Количественное Управление Проектом для получения дополнительной информации о надлежащем использовании статистических методов и понимания изменений.

3. Указывайте административные процедуры для анализа данных и распространения результатов.

Вопросы, подлежащие рассмотрению, как правило, включают следующие:

  • Определение лиц и групп, ответственных за анализ данных и представление результатов
  • Определение времени для анализа данных и представления результатов
  • Определение места для представления результатов (например, отчеты по прогрессу, передача уведомлений, письменные отчеты, собрания сотрудников)

4. Анализируйте и обновляйте предлагаемые содержание и формат для установленных анализов и отчетов.

Все предлагаемые содержание и формат являются предметом рассмотрения и анализа, в том числе аналитические методы и средства, административные процедуры и приоритеты. Соответствующие проконсультированные заинтересованные стороны должны включать в себя пользователей, спонсоров, аналитиков и поставщиков данных.

5. Обновляйте меры и цели измерения по необходимости.

Так же, как потребности измерений управляют анализом данных, уточнение критериев анализа может повлиять на измерение. Спецификации для некоторых мер могут быть дополнительно уточнены на основе спецификаций, установленных для процедур анализа данных. Другие меры могут оказаться ненужными или может быть определена необходимость принятия дополнительных мер.

Описание, как меры будут проанализированы и предоставлены, также может вызвать необходимость обновления целей измерения.

6. Указывайте критерии для оценки полезности результатов анализа и оценки проведения мероприятий по измерению и анализу.

Критерии для оценки полезности анализа могут включать следующие условия:

  • Результаты представлены своевременно, в понятном виде и используются для принятия решений.
  • Выполняемая работа не будет стоить больше, чем это оправдано выгодами, на которые она направлена.

Критерии для оценки проведения измерений и анализа могут включать в себя:

  • Количество упущенных данных или число отмеченных несогласованостей находится вне указанных границ.
  • Существует выбор смещения в выборке (например, только удовлетворенные конечные пользователи обследуются для оценки удовлетворения конечных пользователей, только незаконченные проекты оцениваются для определения общей производительности).
  • Измеряемые данные повторяемы (например, статистически достоверны).
  • Статистические предположения были достигнуты (например, о распределении данных, о соответствующих шкалах измерения).

СЦ 2 Предоставить Результаты Измерения

Результаты измерений, которые соответствуют выявленным информационным потребностям и целям, предоставлены.

Основной причиной для проведения измерений и анализа является удовлетворение выявленных информационных потребностей, полученных из проектных, организационных и бизнес-целей. Результаты измерений на основе объективных данных могут помочь для мониторинга прогресса и реализации, выполнения обязательств, описанных в соглашении с поставщиком, принятия обоснованных управленческих и технических решений и позволяют предпринимать корректирующие действия.

СП 2.1 Получайте Данные Измерений

Получайте указанные данные измерений.

Данные, необходимые для анализа, получаются и проверяются на предмет полноты и целостности.

Пример рабочих продуктов

1. Базовые и производные наборы данных измерений

2. Результаты тестов целостности данных

Подпрактики

1. Получайте данные для базовых мер.

По мере необходимости данные собираются для ранее и вновь указанных базовых мер. Существующие данные собираются из проектных записей или в другом месте в организации.

2. Генерируйте данные для производных мер.

Значения вновь рассчитываются для всех производных мер.

3. Выполняйте проверку целостности данных как можно ближе к источнику данных.

Все измерения могут иметь ошибки в определении или записи данных. Всегда лучше выявлять такие ошибки и источники упущенных данных в начале цикла измерения и анализа.

Проверки могут включать в себя сканирование на упущенные данные, значения данных выходящие за границы и на необычную динамику и корреляцию между мерами. Для этого особенно важно сделать следующее:

  • Протестировать и скорректировать несоответствия классификаций человеческих суждений (т. е. определить, как часто люди делают различные решения классификаций, основанные на той же информации, иначе известное как «надежность воспроизведения информации кодировщиками»).
  • Эмпирически изучить взаимосвязь между мерами, которые используются для расчета дополнительных производных мер. Это может гарантировать, что важные различия не будут упущены из виду, и производные меры будут передавать их предполагаемые значения (иначе известное как «критерий действительности»).

СП 2.2 Анализируйте Данные Измерений

Выполняйте анализ и интерпретацию данных измерений.

Данные измерений анализируются, как и планировалось, по мере необходимости проводятся дополнительные анализы, результаты рассматриваются с соответствующими заинтересованными сторонами, и отмечаются необходимые изменения для будущих анализов.

Пример рабочих продуктов

1. Анализ результатов и промежуточные отчеты

Подпрактики

1. Проводите первичный анализ, интерпретацию результатов и делайте предварительные выводы.

Результаты анализа данных редко сами собой разумеющиеся. Критерии для интерпретации результатов и выводов должны быть указаны в явном виде.

2. Проводите дополнительные измерения и анализа по мере необходимости и подготавливайте результаты для презентации.

Результаты запланированного анализа могут предположить (или потребовать) дополнительные, непредвиденные анализы. Кроме этого, эти анализы могут определить потребности для уточнения существующих мер, для расчета дополнительных производных мер или даже для сбора данных для принятия дополнительных базовых мер для правильного выполнения запланированного анализа. Аналогичным образом, подготовка первичных результатов для презентации может определить необходимость в дополнительных, непредвиденных анализах.

3. Рассматривайте первые результаты с соответствующими заинтересованными сторонами.

Возможно, целесообразно провести обзор начальной интерпретации результатов и методов, какими эти результаты представлены, до распространения и передачи их в широких пределах.

Обзор первоначальных результатов перед их выпуском может предотвратить ненужные недоразумения и привести к улучшениям в области анализа и представления данных.

Соответствующие заинтересованные стороны, с которыми проверки могут быть проведены, включают целевых конечных пользователей, спонсоров, аналитиков и поставщиков данных.

4. Уточняйте критерии для будущих анализов.

Уроки, которые могут улучшить будущие результаты, часто извлекаются вследствие проведения анализа данных и подготовки результатов. Так же как способы улучшения спецификаций измерений и процедур сбора данных могут стать очевидными, так же могут появиться идеи для совершенствования идентифицированных информационные потребности и целей.

SP 2.3 Сохраняйте Данные и Результаты

Управляйте и храните данные измерений, спецификации мер и результаты анализа.

Хранение информации по измерениям позволяет ее своевременно и экономически эффективно использовать в качестве исторических данных и результатов. Для информации также необходимо обеспечить достаточный контекст для интерпретации данных, критериев измерения и результатов анализа.

Сохраняемая информация обычно включает в себя следующее:

  • Планы измерений
  • Спецификация метрик
  • Наборы данных, которые были собраны
  • Отчеты и презентации анализа
  • Срок хранения для хранящихся данных

Хранимая информация содержит или ссылается на другую информацию, которую необходимо понять, интерпретировать меры и оценить их на предмет обоснованности и применимости (например, спецификация измерения, используемая для различных проектов, при сравнении между проектами).

Как правило, наборы данных для производных мер могут быть пересчитаны и поэтому нет необходимости их хранить. Однако может быть целесообразно хранить результаты, основанные на производных мерах (например, диаграммы, таблицы результатов, текст отчета).

Если промежуточные результаты анализа могут быть эффективно восстановлены, то они нет необходимости отдельно хранить.

В проектах для хранения данных по конкретным проектам и результатам может быть выбрано конкретное проектное хранилище. Когда данные являются общими для всех проектов, данные могут находиться в хранилище измерений организации.

См. процессную область Управление Конфигурацией для получения дополнительной информации об установке системы управления конфигурацией.

См. специфическую практику Установка Хранилища Измерений Организации процессной области Определение Организационных Процессов для получения дополнительной информации об установке хранилища измерений в организации.

Пример рабочих продуктов

1. Оборудование хранения данных

Подпрактики

1. Анализируйте данные для обеспечения их полноты, целостности, точности и конвертируемости.

2. Храните данные в соответствии с процедурами хранения данных.

3. Делайте хранимое содержимое доступным для использования только для соответствующих групп и сотрудников.

4. Предотвращайте использование хранимой информации не по назначению.

Примеры способов предотвращения нецелевого использования данных и соответствующей информации включают контроль доступа к данным и обучения людей надлежащему использованию данных.

Примеры неправильного использования данных:

  • Раскрытие конфиденциальной информации
  • Нарушение правил интерпретации, что основано на неполноте, использованию вне контекста или иным образом, вводящим в заблуждение
  • Метрики, неправильно оценивающие работу людей или ранга проектов
  • Подвергание сомнению профессиональности отдельных лиц

СП 2.4 Предоставляйте Результаты

Сообщайте о результатах деятельности измерения и анализа всем соответствующим заинтересованным сторонам.

Результаты измерения и анализа процесса своевременно и в полезном виде доводятся до соответствующих заинтересованных сторон для поддержки принятия решений и содействию в принятии корректирующих действий.

Соответствующие заинтересованные стороны включают целевых конечных пользователей, спонсоров, аналитиков и поставщиков данных.

Пример рабочих продуктов

1. Поставляемые отчеты и связанные с ними результаты анализа

2. Контекстуальная информация или руководства, помогающая интерпретировать результаты анализа

Подпрактики

1. Поддерживайте соответствующие заинтересованные стороны информированными о результатах измерений в соответствие с установленными сроками.

По мере возможности и в рамках нормальных процессов, вместе с которыми они выполняют свою работу, пользователи результатов измерений остаются персонально вовлеченными в постановку целей и принятие решений по планированию мероприятий измерения и анализа. Пользователей необходимо регулярно информировать о прогрессе и промежуточных результатах.

См. процессную область Мониторинг и Контроль Проекта для получения дополнительной информации о проведении анализа прогресса.

2. Помогайте соответствующим заинтересованным сторонам понять результаты.

Результаты соответствующим заинтересованным сторонам предоставляются в четкой и краткой форме. Результаты должны быть понятны, легко интерпретируемы и четко связаны с идентифицируемыми информационными потребностями и целями.

Анализ данных часто не само собой разумеющийся для практиков, которые не являются экспертами в измерениях. Информация о результатах должна ясно говорить о следующем:

  • Как и почему базовые и производные метрики были определены
  • Каким образом были получены данные
  • Как интерпретировать результаты, основанные на используемых методах анализа данных
  • Каким образом результаты соотносятся с информационными потребностями

Примеры действий, которые помогают другим понять результаты, включают в себя следующее:

  • Обсуждение результатов с соответствующими заинтересованными сторонами
  • Предоставление вспомогательной и объясняющей информации в документе
  • Информирование пользователей по результатам
  • Проведение обучений по надлежащему использованию и пониманию результатов измерений

Posted in CMMI, Стандарты и методологии | Отмечено: , , , , , | Leave a Comment »

 
%d такие блоггеры, как: