Методы реализации регрессионного тестирования по расширенным тестовым наборам

• Автор: Епифанов, Николай Анатольевич
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2003
• Место защиты: Санкт-Петербург
• Количество страниц: 149 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ

1. ОБЗОР ПОДХОДОВ К РЕГРЕССИОННОМУ ТЕСТИРОВАНИЮ.

1.1. Понятие регрессионного тестирования

1.2. Необходимость регрессионного тестирования.

1.3. Цели и задачи регрессионного тестирования.

1.4. Классификация изменений кода и методов сопровождения

1.4.1. Типы изменений.

1.4.2. Виды тестирования

1.4.3. Виды регрессионного тестирования.

1.5. Методы выборочного регрессионного тестирования

1.5.1. Выборочные методы и метод повторного прогона всех тестов.
1.5.2. Классификация тестов при отборе
1.6. Классификация выборочных методов
1.6.1. Полнота, точность, эффективность, универсальность
1.6.2. Случайные методы.
1.6.3. Безопасные методы
1.6.4. Методы минимизации.
1.6.5. Методы, основанные на покрытии кода
1.6.6. Сравнение классов методов выборочного регрессионного тестирования
1.7. Особые виды регрессионного тестирования.
1.7.1. Регрессионное тестирование межмодульных зависимостей.
1.7.2. Регрессионное тестирование объектноориентированных программ.
1.8. Технологии, не связанные с отбором тестов.
1.8.1. Уменьшение объема тестируемой программы
1.8.2. Методы упорядочения
1.8.3. Целесообразность отбора тестов.
1.8.4. Функции предсказания целесообразности
1.9. Обзор методов отбора регрессионных тестов.
1 Выводы.
2. МЕТОДИКА РАСШИРЕННОГО РЕГРЕССИОННОГО ТЕСТИРОВАНИЯ.
2.1. Стандартная методика выборочного регрессионного тестирования
2.2. Новый метод отбора тестов.
2.3. Обоснование корректности метода отбора тестов.
2.4. Новый метод порождения дополнительных тестов
2.5. Условия применимости предложенных методов.
2.6. Улучшенная методика регрессионного тестирования.
2.7. Оценка предложенных методов.
2.7.1. Оценка метода отбора тестов
2.7.2. Оценка метода порождения новых тестов
3. СИСТЕМА ПОДДЕРЖКИ РЕГРЕССИОННОГО ТЕСТИРОВАНИЯ.
3.1. Описание системы поддержки регрессионного тестирования
3.1.1. Общая структура системы
3.1.2. Профайлер
3.1.3. Грамматический анализатор
3.1.4. Оптимизация работы профайлера
3.1.5. Решение прикладных задач с помощью профайлера.
3.1.6. Приведение множества ДР к универсальному формату
3.1.7. Получение списка тестов, подлежащих повторному запуску
3.1.8. Определение новых состояний и списка измененных переменных
3.1.9. Создание списка рекомендуемых новых тестов
3.1 Автоматическое добавление операторов вывода
3.2. Известные ограничения системы поддержки регрессионного тестирования
3.2.1. Ограничения, связанные с используемыми методами
3.2.2. Ограничения, связанные с программной реализацией методов
3.2.3. Требования к аппаратной и программной конфигурации ЭВМ
3.3. Методика использования системы поддержки регрессионного тестирования
3.4. Оценка программной реализации системы
4. РЕЗУЛЬТАТЫ ПРИМЕНЕНИЯ РАЗРАБОТАННЫХ МЕТОДОВ И СРЕДСТВ РЕГРЕССИОННОГО ТЕСТИРОВАНИЯ.
4.1. Методы и средства регрессионного тестирования программных проектов
4.2. Анализ применения разработанных методов и средств
4.3. Выводы.
ЗАКЛЮЧЕНИЕ.
ЛИТЕРАТУРА


Существуют свидетельства в пользу предположения, что многие дефекты, выявляемые в готовых программных продуктах, не присутствовали в коде изначально, а были привнесены в процессе модификаций после выпуска первой версии программы, что привело к непредусмотренным побочным эффектам. Для борьбы с такими проблемами в первую версию программного изделия рекомендуется включать полный набор тестов или тестовых процедур, активирующих и проверяющих все функциональные аспекты программы [] наряду с возможностью сохранения и расширения этих тестовых процедур на протяжении жизненного цикла программы. Это позволяет повторно использовать тестовые процедуры полностью или частично для проверки локальности и предсказуемости результатов изменений. Однако при существующем состоянии технологии тестирования программного обеспечения эффективное регрессионное тестирование удаётся осуществить крайне редко. Причина в отсутствии унифицированного представления информации о регрессионных тестах, отсутствии базы данных тестов и плохой документированности тестовых процедур. Тесты обычно хранятся в нескольких файлах разных форматов и не всегда на одном носителе данных. Более того, для загрузки и выполнения выбранных тестов и проверки различных вариантов реакции тестируемой программы необходимы сложные процедуры. В результате получается, что автор теста - единственный человек, способный определить, являются ли результаты выполненных тестов фактически правильными. Регрессионное тестирование играет ключевую роль в сопровождении программного обеспечения; без соответствующего регрессионного тестирования выпуск очередной версии программы рискован. Одно из условий, различающих регрессионное тестирование и тестирование этапа разработки - доступность во время регрессионного тестирования наборов тестов, использовавшихся при начальной разработке программы. Повторное использование подмножества исходного набора тестов для тестирования изменённой программы - путь к уменьшению затрат, требуемых для проведения тестирования. К сожалению, исходные наборы тестов могут быть достаточно большими, а время, отведённое на повторный запуск всех тестов из этих наборов, может быть сильно ограничено. Поэтому необходимо ограничиваться выполнением выбранного подмножества существующих тестов. Проблему выбора называют проблемой выборочного повторного тестирования; метод для решения этой проблемы называется выборочным методом повторного тестирования [5]. При разработке качественного программного продукта было бы ненадёжно выбирать случайные подмножества тестов. Следовательно, важно выбрать подмножество тестов минимальной мощности, обеспечивающее достижение целей регрессионного тестирования. Эту задачу называют проблемой оптимального регрессионного (или повторного) тестирования []. Затраты на регрессионное тестирование вносят существенный вклад в общую стоимость сопровождения программы [, ]. Выборочный подход к регрессионному тестированию изменённой программы требует исключения некоторых тестов из существующего набора [1], что приводит к уменьшению затрат [,5]. Тест, представляющий собой элемент входного класса данных, обозначается Он соответствует некоторому экземпляру выходных данных как результат)' Р(й) исполнения программы Р. Множество тестов Т = {\, —}» используемое для тестирования программы Р, называется набором тестов для Р. Набор тестов Т* - {1*1, Х'г . Множество активируемых тестом операторов называется сектором выполнения программы относительно данного теста []. На различных стадиях разработки программного обеспечения одна из главных проблем - проверка правильности программы после внесения изменений []. При сопровождении программного обеспечения группа разработки и группа тестирования должны систематически проверять все изменения в программе. Должно проводиться повторное тестирование как изменённых участков кода программы, так и других, косвенно связанных с изменениями, участков, чтобы гарантировать, что никакие функциональные возможности не пострадали и что используемый критерий покрытия по-прежнему удовлетворяется. Необходимо повторно запустить тесты, на которых программа ранее демонстрировала корректные результаты и ожидаемое поведение [0]. Описанная практика регрессионного тестирования приведена в [5].