Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании

• Автор: Жилина, Елена Викторовна
• Шифр специальности: 08.00.13
• Научная степень: Кандидатская
• Год защиты: 2012
• Место защиты: Ростов-на-Дону
• Количество страниц: 270 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
1 ПРОБЛЕМЫ ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА КОМПЬЮТЕРНЫХ СИСТЕМ ТЕСТИРОВАНИЯ В ОБРАЗОВАНИИ

1.1 Тестирование как результат образовательной деятельности вуза

1.2 Анализ применяемых моделей и методов тестирования для оценки знаний студента

1.3 Проблемы построения информационной системы тестирования

1.4 Использование адаптивного тестирования для оценки знаний студента

2 ЭКОНОМИКОМАТЕМАТИЧЕСКИЕ МОДЕЛИ ПРОЦЕССА АДАПТАЦИИ В ТЕСТОВЫХ СИСТЕМАХ

2.1 Модели и алгоритмы адаптивного тестирования и их реализация

2.2 Динамическая оценка знаний при тестировании байесовский подход

2.3 Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого
2.4 Модели и методики оценки потребительского качества банка заданий тестовых систем
3 ОЦЕНКА ЗНАНИЙ СТУДЕНТА ПРИ АДАПТИВНОМ ТЕСТИРОВАНИИ НА БАЗЕ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ
3.1 Обоснование возможности использования нечетких моделей для расчета количественных показателей качества подготовки студента
3.2 Моделирование лингвистической оценки обученности студента при адаптивном тестировании
3.3 Нечеткая модель оценки успешности освоения дисциплины студентом
4 МОДЕЛИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ
4.1 Функциональная полнота адаптивных образовательных тестовых систем
4.2 Визуальное моделирование информационных процессов адаптивного тестирования
4.3 Разработка модели ориентированной информационной системы адаптивного тестирования ЗАКЛЮЧЕНИЕ
БИБЛИОГРАФИЧЕСКИЙ СПИСОК ПРИЛОЖЕНИЯ
ПРИЛОЖЕНИЕ А. Перечень анализируемых образовательных тестовых систем и их функции
ПРИЛОЖЕНИЕ Б. Структурно функциональная модель
тестирования модель I и физическая модель данных
ПРИЛОЖЕНИЕ В. Отличия алгоритмов классического и адаптивного тестирования
ПРИЛОЖЕНИЕ Г. Реализация алгоритма базовой модели
адаптивного тестирования в x
ПРИЛОЖЕНИЕ Д. Реализация алгоритма модифицированной базовой модели адаптивного тестирования в x
ПРИЛОЖЕНИЕ Е. Реализация алгоритма расширенной базовой модели адаптивного тестирования в x
ПРИЛОЖЕНИЕ Ж. Реализация алгоритма эталонных моделей расширенной базовой модели адаптивного тестирования в x ПРИЛОЖЕНИЕ И. Результаты моделирования адаптивного
тестирования на основе Байесовского подхода в x
ПРИЛОЖЕНИЕ К. Построение логистической регрессии при адаптивном тестировании реализация в пакете II 6.
ПРИЛОЖЕНИЕ Л. Результаты тестирований студентов по дисциплине Информатика
ПРИЛОЖЕНИЕ М. Результаты моделирования лингвистической оценки обученности студента при адаптивном тестировании в x
ПРИЛОЖЕНИЕ Н. Расчеты анализа функциональной полноты тестовых систем
ПРИЛОЖЕНИЕ П. Диаграммы деятельности и состояний информационных процессов ИС Адаптивное тестирование
ПРИЛОЖЕНИЕ Р. Диаграммы последовательностей действий и взаимодействия сотрудничества между актерами и классами ИС Адаптивное тестирование и диаграмма топологии размещения
3 0 6 7 7 5 5
ВВЕДЕНИЕ
Актуальность


Несоответствие задания одной из четырех форм допускает возможность только двух правильных суждений или это не тестовое задание, или используется какаято новая неисследованная форма при условии, что группа известных форм определена. Доказательства, обширные вычисления, многословные описания трудно выражаются в тестовой форме. При правильном отборе контрольного материала содержание теста может быть использовано не только для контроля, но и для обучения. Использование тестовых заданий в автоматизированных контрольнообучающих программах позволяет студенту самостоятельно обнаруживать пробелы в структуре своих знаний и принимать меры для их ликвидации. Соответствие цели. Содержание теста зависит от цели проверки. Если нужно отобрать небольшое число самых подготовленных студентов, скажем, на олимпиаду, то ясно, что задания должны быть трудные, ибо только с помощью таких заданий можно отобрать лучших. Если же, наоборот, требуется отсеять самых слабых, то сделать это лучше с помощью сравнительно легких заданий те, кто не выполнят эти задания, и есть самые слабые. При необходимости оценить студентов во всем диапазоне знаний от низшего до высшего, в тест придется включать задания легкие, средние и трудные. Если, наконец, понадобится оценить соответствие знаний выпускников всех образовательных учреждений требованиям минимума содержания учебных дисциплин, зафиксированного в государственных образовательных стандартах, то в средства оценки придется включать только легкие задания, посильные большинству тестируемых. При этом возникает ряд довольно спорных вопросов, как определение минимально проходного процента правильного выполнения числа заданий, определение оценки в зависимости от процента правильных ответов. Трудность теста. Трудный тест имеет вогнутую характеристическую кривую и может применяться для проведения отборочных проверок. Если тест содержит легкие задания, то он обладает выпуклой характеристической кривой и пригоден только для отсева тестируемых с недопустимо низкой степенью обученности. Учебные типовые ситуации должны выбираться по категориям трудности только с учетом результата предварительных тестовых проверок на стадии планирования эксперимента. Зависимости распределения реальных баллов эмпирического объекта от характеристической кривой теста приведены в табл. Таблица 1. К ним относятся наименование специальности, название учебной дисциплины и объем часов по ней выбор результата проверки постановка целей указание фамилий, имени, отчества коллектива разработчиков, времени создания и сертификации теста отбор и структурирование содержания учебной дисциплины составление спецификации тестовых заданий выбор структуры банка тестовых заданий установление среднего время выполнения каждого задания подготовка тестовых заданий и заключений на них для ввода в банк тестовых заданий проведение экспертизы тестовых заданий на полноту и валидность установление числа заданий в одном тесте, показателей верности и объективности разработка инструкций для испытуемых, преподавателей и администратора тестирующей системы установление соотношения тестовых заданий по разделам учебной дисциплины корректировка тестовых заданий, эстетических и эргономических характеристик заданий выбор и установка интервалов качества шкалы оценивания описание технологии и организации тестовых проверок проведение предварительного компьютерного тестирования, сбор эмпирических данных по результатам репрезентативного отбора тестируемых, констатация показателей качества оценки формирование банка тестовых заданий по учебной дисциплине распечатка содержания тестовых заданий, утверждение состава и содержания базы тестовых заданий компетентным лицом подготовка протокола испытаний и инструкций для участников процесса тестирования установка тестовых заданий на сервер вычислительной сети. Особенностью проектирования тестовых заданий является то, что прежде чем формировать тест из тестовых заданий, надо иметь некоторый результат, т. В частности, если результатом выбора теста является утверждение относительно исходного балла классификации объектов, то правильно отобранный тест должен содержать задания разной степени трудности и различной различающей способности.