Заметки консультанта

Шамрай Александр Владимирович

Руководство по управлению тестовыми выпусками. Отчетность

Posted by Шамрай Александр на Май 13, 2013

<<Перейти к содержанию

Темы
  • Введение в отчетность
  • Документирование плана тестирования и тестовых случаев
  • Отчетность о ходе тестирования по плану тестирования
  • Поддержка отчетности для сценариев, затронутых в этом руководстве

Цель этой главы состоит в том, чтобы дать представление об улучшении функций Microsoft Test Manager и Team Foundation Server для документирования и отчетности по тестовым действиям и результатам управления тестовыми выпусками.

Microsoft Test Manager хранит подробные записи каждого выполнения тестовых случаев. Это позволяет сделать отчетность управления тестовыми выпусками вашего проекта согласно вашим потребностям. Поскольку большинство тестовых артефактов не сохраняются как рабочие элементы, вы не можете использовать запросы по рабочим элементам для выполнения всех требуемых отчетов для управления тестовыми версиями.

Для документирования и создания отчетов о тестовых активностях и результатах тестирования есть несколько различных источников отчетности, которые Вы можете использовать. Три общих отчета:

  • Отчеты SQL Server Reporting Services (SSRS)
  • Отчеты Excel
  • TestScribe

Отчеты SQL Server Reporting Services

Вы можете получить доступ к отчетам SSRS из папки Reports Командного Обозревателя, Командный Веб-Доступ через браузер и через добавление Цифровых панелей к командному сайту проекта портала SharePoint. Есть много предопределенных отчетов, и вы можете также создать свои собственные специализированные отчеты.

Создание отчетов о выполнении тестирования по плану тестирования

В любой момент во время спринта вы можете отследить прогресс тестирования плана тестирования. Отчет о выполнении работ Плана тестирования обеспечен как часть шаблона процесса Visual Studio 2012 Agile. Отчет о выполнении работ Плана тестирования может использоваться для всех сценариев, описанных в этом руководстве. Это затрагивает следующие вопросы:

  • Сколько тестирования команда выполнила?
  • Команда, вероятно, закончит тестирование вовремя?
  • Сколько тестов осталось для выполнения?
  • Сколько тестов прошло?
  • Сколько тестов не прошло?
  • Сколько тестов заблокировано?

Пример Отчета о Выполнении Работ Плана Тестирования SSRS

Создание пользовательских отчетов SQL Server Reporting Services

Microsoft Test Manager хранит подробную запись каждого выполнения тестовых случаев. Это позволяет сделать отчеты Управления Тестовыми Выпусками вашего проекта согласно вашим потребностям. См. информацию в библиотеке MSDN для SQL Server Reporting Services.

Отчеты Excel

К ним можно получить доступ из папки Документы из Командного Обозревателя или Веб-доступа. Существует несколько предопределенных отчетов и вы можете также создать ваши собственные с помощью функций сводных таблиц Excel на основе куба Team Foundation Server Analysis Services.

Отчет Excel — Тестовая Активность

Отчет Тестовая Активность может помочь для контроля числа ручных тестов, которые команда выполнила в течение всего времени. Этот отчет доступен только после того, как команда создаст планы тестирования и начнет выполнять тесты с помощью Microsoft Test Manager. Вы можете использовать отчет Тестовая Активность, чтобы понять, как хорошо команда выполняет тесты. Этот отчет основывается на PivotChart, которые показывают последние четыре недели данных, которые были получены по результатам тестов и сохранены в хранилище данных. Это затрагивает следующие вопросы:

  • Тенденция ручных тестов, которые команда выполняет, последовательно увеличивается?
  • Вы идентифицируете какие-либо вопросы в тестовой активности, которое вы не смогли учесть?

Отчет Excel Тестовая Активность

Отчет Excel Анализ Тестовых Сбоев

Отчет по анализу сбоев тестовых случаев может помочь в контроле количества регрессий, которые находит команда тестирования. Регрессии — ошибки в тестируемом программном продукте, которые не появлялись в предыдущем спринте. Отчет по анализу сбоев тестового случая показывает сколько различных конфигураций для каждого Тестового случая было пройдено в предыдущих спринтах, а теперь перестало работать. Это затрагивает следующие вопросы:

  • Сколько тестов в целом регрессирует?
  • Команда сохраняет общее количество регрессий или тестовых сбоев в ожидаемых диапазонах или целях команды?
  • Команда решает проблему, которую они идентифицировали? Известные проблемы рассматриваются своевременно?

Отчет Excel Анализ Тестовый Сбоев

TestScribe

Вы можете использовать инструмент TestScribe для документирования вашего плана тестирования и тестовых случаев. TestScribe – это расширение Microsoft Test Manager и его можно найти в галерее Visual Studio. После того, как Вы загрузите и установите TestScribe, вы увидите новый выбор Tools в выпадающем списке центра тестирования.

Меню Tools TestScribe

Использование TestScribe для документирования планов тестирования и тестовые случаев

Используйте расширения TestScribe для создания документа Word, который содержит подробную информацию о планах тестирования и их тестовых случаях. Из центра Tools вы можете выбрать план тестирования и сгенерировать документ Word, чтобы задокументировать план тестирования. Выходной документ будет содержать детальное описание плана тестирования, иерархию наборов и наборы тестовых случаев с шагами тестов в каждом тестовом наборе и другую информацию.

Пример результирующего документа TestScribe для плана тестирования

Сводный отчет TestScribe Тестового Запуска

С помощью плагина TestScribe вы можете генерировать Сводный Отчет Запуска Тестов, чтобы получить обзор результатов выполнения тестов. Сводный Отчет Запуска Тестов выводит графики для:

  • Тестовых результаты
  • Тестовых сбоев по типу
  • Тестовых сбоев по анализу
  • Анализ тестовых сбоев упущенных тестировщиком

Также перечисляются тестовые запуски, непроанализированные тестовые сбои и ошибки, связанные с запуском тестов.

Пример Сводного отчета TestScribe о запуске тестов

Примечание Сводный отчет Тестового запуска может быть сгенерирован на основе любого числа выполнений тестов. Это позволяет создать сводку результатов тестов по определенному построению, определенному тестировщику или сводке по активностям тестирования начиная с определенной даты, просто сортируя и выбирая соответствующие тестовые запуски. (Чтобы выбрать несколько тестов, нажмите и держите SHIFT или клавишу CTRL).

Пример Сводного отчета TestScribe нескольких тестовых запусков

Предупреждение Сводный отчет Тестовых Запусков представляет только данные по выполнению тестов. Он не показывает число тестовых сценариев, которые не протестировали. Кроме того, выполнение тестового случая несколько раз будет показано несколько раз в отчете. Например, выполнение и прохождение тестового случая дважды соответственно покажет 2 пройденных тестовых случая.

Итоги

Этот раздел обеспечил введение в создание отчетов для управления тестовыми выпусками и некоторые отчеты в качестве примера относительно:

  • Документирования плана тестирования и тестовых случаев.
  • Отчетности о ходе тестирования по плану тестирования.
  • Поддержки отчетности для сценариев, затронутых в этом руководстве.

<<Перейти к содержанию

Реклама

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s

 
%d такие блоггеры, как: