Методы автоматизации распределённого тестирования реактивных систем

• Автор: Тютин, Борис Викторович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2013
• Место защиты: Санкт-Петербург
• Количество страниц: 185 с. : ил.

Введение
Г лава 1. Современные подходы к автоматизации создания и выполнения тестового набора
1.1 Критерии тестирования
1.2 Актуальные подходы к тестированию
1.2.1 Тестирование, управляемое данными
1.2.2 Тестирование на основе ключевых слов
1.3 Параллельное программирование в тестировании
1.3.1 Разработка параллельного алгоритма
1.3.2 Оценка качества параллельного алгоритма
1.3.3 Характеристики параллельных алгоритмов
1.5 Инструментальные средства автоматизации тестирования
1.5.1 Сравнение средств автоматизации тестирования
Выводы
Глава 2. Подходы к реализации этапов технологии распределённого тестирования
2.1 Метод создания параметризованного тестового набора на основе требований к продукту
2.1.1 Анализ формальной модели и построение поведенческих трасс с символическими параметрами
2.1.2 Требования к языку описания тестовых сценариев
2.1.3 Преобразование поведенческих трасс в тесты
2.1.4 Формулировка метода построения параметризированных тестовых сценариев
2.2 Метод автоматизации выполнения тестового набора на основе плана тестирования
2.2.1 Конкретизация тестового набора и составление плана тестирования
2.2.2 Сборка тестового набора
2.2.3 Выполнение тестового набора
2.2.4 Формирование результатов тестирования
2.2.5 Формулировка метода автоматизации тестирования
2.3 Метод автоматизации анализа результатов тестирования и коррекции тестов
2.4 Методы масштабирования выполнения тестового набора
2.4.1 Возможные подходы к масштабированию
2.4.2 Изолирование среды исполнения тестов
2.4.3 Метод кластеризации тестового набора
2.4.4 Метод параллельного выполнения тестов
2.5 Метод автоматизированного тестирования с обратной связью, основанный на анализе
требований
Выводы
Глава 3. Реализация этапов технологии распределённого тестирования
3.1 Реализация метода автоматизации создания параметризованного тестового набора на основе требований к продукту
3.1.1 Формализация требований
3.1.2 Генерация тестовых сценариев
3.1.3 Изменение набора сущностей
3.2 Реализация метода автоматизации выполнения тестового набора на основе плана тестирования
3.2.1 Конфигурирование тестового набора
3.2.2 Конкретизация параметров тестового сценария
3.2.3 Интерпретация языка тестовых сценариев
3.2.4 Построение тестового набора
3.2.5 Запуск тестирования
3.2.6 Завершение тестирования

3.3 Реализация метода автоматизации анализа результатов тестирования и коррекции тестового набора
3.4 Реализация методов масштабирования тестового набора
3.4.1 Модуль кластеризации тестового набора
3.4.2 Параллельное выполнение тестов
3.4.3 Сборка и запуск тестового набора при масштабировании
3.5 Реализация метода автоматизированного тестирования с обратной связью, основанного на
анализе требований
3.5.1 Шаги метода
3.6.2 Контуры обратной связи
Выводы
Глава 4. Результаты применения разработанных методов автоматизации тестирования
4.1 Практическое применение результатов работы
4.1.1 Внедрение разработанных методов
4.1.2 Анализ затрат на изменение исходных требований и их проверку
4.1.3 Описание проектов для апробации метода
4.2 Оценка эффективности результатов внедрения разработанных методов применительно к реальным проектам
4.2.1 Анализ времени построения тестового набора
4.2.2 Анализ объёма тестового набора при использовании параметризованных тестов
4.2.3 Анализ времени конфигурирования тестового набора при ручном и автоматическом масштабировании
4.2.4 Анализ ускорения выполнения тестового набора при масштабировании
4.2.6 Анализ преимуществ использования системы тестирования как сервиса
4.2.7 Анализ затрат на внесение изменений в требования
Выводы
Заключение
Список сокращений и условных обозначений
Литература
Приложение 1, Критерии тестирования
Критерии «чёрного ящика»
Критерии «белого ящика»
Приложение 2. Виды объектов тестирования
Приложение 3. Технологии параллельного программирования

ОрепМР
Приложение 4. Обзор инструментальных средств автоматизации тестирования

Robot Framework
JUnit

UniTesK
HP Quick Test Professional
IBM Rational Functional Tester
Приложение 5. Формализация требований
Приложение 6. Синтаксис языка гидов VRS
Приложение 7. Используемые в работе технологии и инструменты

Введение
Актуальность работы. В настоящее время в процессе производства программного продукта (ПП) много внимания уделяется обеспечению его качества - соответствию начальным требованиям, эффективности решения поставленной задачи, надёжности работы. В силу особенностей решаемых задач непосредственная выгода от улучшения характеристик создаваемых информационных систем для заказчика часто неочевидна и скрыта. Потому в случае сокращения издержек производства, в первую очередь сокращаются затраты на поиск ошибок и расхождений между требованиями к программному продукту и его реализацией [59], что, в свою очередь, приводит к снижению ценности создаваемых программ.
Наиболее популярным инструментом управления качеством ПП является тестирование [60]. Актуальная задача снижения времени и стоимости тестирования решается с помощью автоматизации путем объединения в технологическом процессе тестирования различных готовых инструментов. Существенным недостатком такого подхода является интеграция разнородных средств автоматизации тестирования в существующий процесс разработки и их стыковка с уже использующимся инструментарием. Постепенное накопление опыта решения подобных задач привело к появлению каркасов для построения систем автоматизации тестирования [76]. Обзор наиболее известных из них представлен в Приложении 4. Проведенный в работе анализ, представленный в пункте 1.5, позволяет сделать вывод о том, что в области построения систем автоматизации тестирования всё ещё существуют проблемы, решение которых приведёт к созданию высокоэффективных инструментов.
Основная цель контроля качества программного продукта (ПП) - увеличить его ценность за счёт уменьшения количества ошибок реализации, обеспечения соответствия исходным требованиям и снижения стоимости сопровождения. Для достижения этой цели необходимы формализованный процесс и программные средства его поддержки. В то время как методы разработки программных продуктов становятся более гибкими (в качестве примера можно привести

Отображение результатов тестирования в случае Fit и Robot осуществляется в формате HTML таблиц. Для JUnit каждый инструмент разработки, в который интегрирован данный каркас, предоставляет свои визуальные средства, чаще всего это также отображение в виде интерактивной таблицы, содержащей информацию о результатах выполнения тестов. Часто данная таблица позволяет перейти непосредственно к месту в коде теста, в котором произошла ошибка. При выполнении тестов системой UniTesK отчёты о тестировании формируются в текстовом формате. Для UniTesK, так же, как и для RFT, возможно их отображение в виде HTML-страниц. Базовым форматом для создания отчётов о тестировании для QTP является XML, который затем может быть транслирован в HTML и ряд других форматов для представления документов. ТАТ формирует журналы событий тестирования в текстовом формате и в виде MSC. Также пользователю предоставляется возможность создания собственного формата через специальный язык шаблонов. На основании данной информации автоматически создаётся отчёт о тестировании в виде интерактивного HTML-документа с детальной диагностической информацией. Использование web-технологий делает процесс формирования и визуализации результатов тестирования независимым от среды исполнения, что может быть использовано при тестировании в облачной инфраструктуре.
Результаты анализа процессов тестирования для разных каркасов сведены в Таблице 1.3.
По области применения рассмотренные в данной работе инструменты также сильно различаются. Fit, в первую очередь, ориентирован на модульное и компонентное тестирование. QTP наиболее часто используется для решения задач функционального тестирования. RFT позиционируется как инструмент функционального и регрессионного тестирования. Robot, за счёт особенностей архитектуры и использования концепции библиотек-драйверов, может быть применён для решения широкого круга задач тестирования. JUnit может быть использован преимущественно для модульного тестирования. UniTesK, за счёт модульной архитектуры и гибкого инструментария, может быть использован для