Метод и алгоритмы автоматизированного построения компьютерных тестов контроля знаний по техническим дисциплинам

• Автор: Сергушичева, Анна Павловна
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2007
• Место защиты: Санкт-Петербург
• Количество страниц: 201 с. : ил.

ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМА ПОСТРОЕНИЯ КОМПЬЮТЕРНЫХ

ТЕСТИРУЮЩИХ СИСТЕМ ДЛЯ КОНТРОЛЯ ЗНАНИЙ ПО ТЕХНИЧЕСКИМ ДИСЦИПЛИНАМ

1.1. Анализ современного состояния проблемы разработки компьютерных тестирующих систем
1.1.1. Компьютерные тестирующие системы КТС основные понятия и классификация тестов. Характеристики качества тестов
1.1.2. КТС необходимый компонент компьютерных средств обучения, применяемых в учебном процессе технического вуза

1.2. Традиционные подходы к задачам компьютерного тестирования

1.2.1. Определение целей, содержания и структуры компьютерного теста

1.2.2. Модели компьютерного тестирования

1.2.3. Определение качества тестов. Разработка шкалы измерений и правил интерпретации результатов. Анализ результатов и составление огчета
1.3. Ограничения известных моделей и инструментальных средств для построения компьютерных тестирующих систем по техническим дисциплинам
1.4. Проблема автоматизации построения КТС и постановка задач, решаемых в диссертационной работе
1.5. Выводы
ГЛАВА 2. МОДЕЛЬ КТС И ПРОДУКЦИОННЫЙ МЕТОД ГЕНЕРАЦИИ ТЕСТОВЫХ ЗАДАНИЙ ДЛЯ КТС
2.1. Модель КТС, включающей механизм автоматической генерации тестовых заданий
2.2. Продукционный формализм
2.3. Метод генерации тестовых заданий для КТС
2.4. Интерпретации метода генерации тестовых заданий для различных предметных областей
2.4.1. Интерпретации метода для генерации тестовых заданий по дисциплине Математика
2.4.2. Интерпретации метода для генерации тестовых заданий по физике
2.4.3. Интерпретации метода генерации тестовых заданий по дисциплинам социальногуманитарного цикла
2.4.4. Интерпретации метода генерации тестовых заданий по дисциплине Метрология, стандартизация, сертификация
2.4.5. Интерпретации метода генерации тестовых заданий по специальным дисциплинами и другие направления применения предложенного метода
2.5. Выводы
ГЛАВА 3. ИНСТРУМЕНТАЛЬНЫЙ ПРОГРАММНЫЙ КОМПЛЕКС
ДЛЯ ПОСТРОЕНИЯ КОМПЬЮТЕРНЫХ ТЕСТИРУЮЩИХ СИСТЕМ И
ПРАКТИЧЕСКИЕ РЕЗУЛЬТАТЫ ЕГО ПРИМЕНЕНИЯ
3.1. Принципы построения и структу ра КТС
3.2. Инструментальный программный комплекс ИПК для построения компьютерных тестирующих систем
3.2.1. Структурные блоки ИПК
3.2.2. Формирователь структуры теста
3.2.3. Редактор грамматик
3.2.4. Блок генерации заданий по грамматикам
3.2.5. Блоки, реализующие другие способы автоматизированного формирования тестовых заданий
3.2.5. Генератор синтезатор теста
3.2.5. Программная реализация ИПК
3.3. Основные характеристики прикладных тестирующих систем, реализованных на базе предложенных модели и метода
3.3.1. Тренирующая интеллектуальная система
3.3.2. Инструментальная интеллектуальная программная среда
3.3.3. Интеллектуальная тестирующая система
3.3.4. Сетевая версия интеллектуальной тестирующей системы
3.3.5. Интернетверсия интеллектуальной тестирующей системы
3.4. Экспериментальная оценка качества генерируемых тестов
3.5. Результаты применения ИПК для прогнозирования успешности обучения
3.6. Оценка эффективности ИПККТС
3.7. Выводы
ЗАКЛЮЧЕНИЕ
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
ПУБЛИКАЦИИ АВТОРА Г ТЕМЕ ДИССЕРТАЦИИ
ПРИЛОЖЕНИЕ А.
ПРИЛОЖЕНИЕ Б
ПРИЛОЖЕНИЕ В
ПРИЛОЖЕНИЕ Г
ПРИЛОЖЕНИЕ Д
ПРИЛОЖЕНИЕ Е
ВВЕДЕНИЕ


После этого формулируется ряд гипотез о том, каким образом данные разрабатываемого теста будут коррелировать с широким кругом других тестов, направленных как на близкие конструкты, так и на отдаленные. Гипотезы проверяются методами корреляционного и факторного анализа. Понятие эмпирическая валидность применяют к описанным типам валидности, если при определении степени выраженности использовались статистические способы анализа данных, то есть коэффициенты вычислялись путем корреляций. Дискриминативность дифференцирующая способность 7 характеристика, показывающая, насколько сильно задания теста различают испытуемых по уровню контролируемого показателя. Измеряется показателем дельта Ферпосона и принимает максимальное значение при равномерном прямоугольном распределении показателей . Тщательное конструирование теста позволяет обеспечить соответствующий уровень дискриминагивности. Следует отметить, что по этому показателю тесты выгодно отличаются от других форм испытаний. Например, в опросах наиболее эффективно использовать три градации ниже среднего, средний уровень и выше среднего, а при оценке знаний в нашей стране практически используются четыре оценки неудовлетворительно, удовлетворительно, хорошо, отлично. Сопоставление индивидуальных результатов тестирования обеспечивается стандартизацией тестов. Тем самым обеспечивается определенная гарантия уравнивания ситуативных факторов, способных поставить часть испытуемых в более выгодное положение по сравнению с остальными. Так, например, инструкции обычно предъявляются в письменном виде или реже зачитываются и никому не дается персональных пояснений, индивидуальных комментариев и т. В качестве эталона обычно выступают итоги тестирования многочисленной и репрезентативной выборки. Сравнивая одного испытуемого с другими, проходившими ранее тот же тест, мы осуществляем стандартизацию по статистической норме. Результаты испытуемого можно сопоставлять не с другими результатами, а с описанием требований общества к развитию данной функции или свойства, то есть с социальнопсихологическим нормативом. Существенной характеристикой является также экономичность измерения, под которой понимают целесообразность применения теста, определяемую наличием допустимого соотношения затрат на тестирование времени, труда, финансов и пользы от него надежности, валидности и дискриминативности. Рассмотренные характеристики непременно определяются составителями в ходе подготовки теста и дают представление о качестве измерения при последующем использовании тестов. В современных условиях научнотехнического прогресса и информатизации общества наряду с задачей обучения актуальна и задача постоянного обновлении знаний специалистов. Сегодня большинство технических вузов все еще придерживаются классической модели обучения, но заметны тенденции по развитию так называемого электронного обучения Е1еат и смешанного обучения, когда информационные технологии внедряются лишь как часть традиционного обучения 9, Ц. В основе компьютерных средств обучения КСО лежит идея программированного обучения, предполагающего построение учебного материала как программы подачи сравнительно небольших порций учебной информации и контроля их освоения. Впоследствии были разработаны разветвленные программы, предлагающие обучаемому различный материал для самостоятельной работы в зависимости от результатов контроля. Профаммироваииое обучение, таким образом, позволяет учитывать индивидуальные данные обучаемого и способствует повышению эффективности обучения 3, 5, , . В настоящее время во многих учебных заведениях разрабатываются и используются как отдельные программные продукты учебного назначения, так и автоматизированные обучающие системы АОС по различным учебным дисциплинам , , . К программным продуктам учебного назначения относятся компьютерные презентации иллюстрационного характера электронные словарисправочники и учебники лабораторные практикумы с возможностью моделирования реальных процессов программытренажеры тестовые системы. АОС включает в себя комплекс учсбнометодических материалов демонстрационных, теоретических, практических, контролирующих и компьютерные программы, которые управляют процессом обучения.