Математические модели и комплексы программ для автоматизированной оценки результатов обучения с использованием латентных переменных

• Автор: Елисеев, Иван Николаевич
• Шифр специальности: 05.13.18
• Научная степень: Докторская
• Год защиты: 2013
• Место защиты: Новочеркасск
• Количество страниц: 371 с. : ил.

Оглавление
Введение
1 Теоретическое обоснование выбора математических моделей для оценки результатов обучения и постановка задач исследования

1.1 Краткий обзор состояния диагностики результатов обучения

в профессиональном образовании

1.2 Анализ основных подходов к оценке результатов обучения

1.3 Критерии и показатели качества диагностических средств

1.3.1 Надёжность гомогенного теста

1.3.2 Валидность теста

1.3.3 Разрешающая способность теста

1.4 Расчёт параметров, характеризующих результаты обучения, на основе классической теории тестирования
1.5 Теоретические обоснование возможности использования дихотомической
модели Раша для оценки результатов обучения
1.6 Свойства дихотомической модели Раша
1.7 Теоретическое обоснование возможности использования моделей Раша
для политомической индикаторной переменной
1.8 Представление и интерпретация данных обработки
1.8.1 Интерпретация на основе классической теории тестирования
1.8.2 Интерпретация данных на основе теории латентных переменных
1.8.3 Оценка адекватности результатов тестирования дихотомической модели Раша
1.8.4 Построение гистограмм и информационных функций заданий
Выводы к главе
2 Разработка алгоритмов и комплексов программ для расчета параметров, характеризующих результаты обучения и качество диагностических средств..
2.1 Математическое обоснование алгоритма расчета латентных параметров на основе дихотомической индикаторной переменной
2.1.1 Решение нелинейных уравнений методом секущих
2.1.2 Решение нелинейных уравнений методом Ньютона
2.2 Алгоритмы расчета оценок максимального правдоподобия латентных параметров основной модели Раша
2.3 Математическое обоснование расчета латентных параметров политомической модели Раша для рейтинговой шкалы
2.3.1 Получение итерационных выражений на основе метода секущих
2.3.2 Итерационные процедуры на основе использования метода Ньютона
2.4 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели рейтинговой шкалы
2.5 Математическое обоснование расчета латентных параметров политомической модели частичного доверия

2.5.1 Итерационные процедуры на основе метода секущих
2.5.2 Получение итерационных выражений с помощью метода Ньютона
2.6 Алгоритмы расчета оценок максимального правдоподобия латентных параметров модели частичного доверия
2.7 Программный комплекс Ю1ЛММ
2.8 Программный комплекс ШЬР-
2.9 Оценка достоверности результатов расчета латентных параметров программным комплексом ШЬР-1М
2.10 Оценка достоверности результатов расчета латентных параметров программным комплексом ШЬР-
2.10.1 Оценка достоверности данных, полученных с использованием модели Раша для рейтинговой шкалы
2.10.2 Оценка достоверности данных, полученных на основе алгоритма для модели частичного доверия
Выводы к главе
3 Теоретическое исследование свойств оценок латентных параметров дихотомической модели Раша
3.1 Исследование существования и единственности оценок максимального правдоподобия латентных параметров дихотомической модели Раша
3.1.1 Постановка задачи
3.1.2 Допустимая дихотомическая матрица результатов тестирования
3.1.3 Теоретическое обоснование существования и единственности оценок латентных параметров дихотомической модели Раша
3.2 Расчет доли допустимых дихотомических матриц результатов тестирования
3.3 Результаты вычислительного экперимента по расчёту доли допустимых дихотомических матриц результатов тестирования
3.4 Исследование состоятельности оценок латентных параметров основной
модели Раша при ограниченном числе заданий теста
3.5 Экспериментальное подтверждение состоятельности оценок трудности заданиг теста при их фиксированном количестве
3.6 Исследование поведения оценок латентных параметров модели Раша при неограниченном увеличении объёма выборки и числа заданий теста
3.7 Экспериментальные исследования состоятельности оценок латентных параметров при неограниченном увеличении числа заданий теста
3.8 Сходимость итерационных оценок, рассчитанных методом Ньютона
3.9 Распределение значений латентных параметров дихотомической модели Раша 162 Выводы к главе
4 Расчёт оценок латентных параметров модели Раша на основе моделирования дихотомических матриц ответов
4.1 Краткий обзор современных методов обработки выборок ограниченного объема
4.2 Метод складного ножа и его использование для калибровки тестовых заданий
4.3 Бутстреп-метод и его применение для калибровки заданий теста
4.4 Теоретический анализ значений бутстреп-оценок
4.5 Теоретический анализ значений оценок, рассчитанных с использованием метода складного ножа
4.6 Результаты экспериментальных исследований оценок, рассчитанных методами бутстреп и складного ножа
4.7 Модель генеральной дихотомической матрицы результатов
тестирования
4.7.1 Актуальность создания модели генеральной дихотомической матрицы ответов
4.7.2 Методика формирования модели генеральной дихотомической матрицы результатов тестирования
4.7.3 Проведение вычислительного эксперимента по формированию квазигенеральной дихотомической матрицы ответов
4.8 Алгоритм формирования модели дихотомической матрицы ответов
4.9 Исследование погрешности калибровки тестовых заданий на основе моделирования нормативных дихотомических матриц ответов
4.9.1 Методика формирования моделей нормативных дихотомических
матриц ответов разных размеров
4.9.2 Проведение вычислительного эксперимента и анализ результатов исследования погрешностей калибровки тестовых заданий
Выводы к главе
5 Разработка инструментария и моделей мониторинга результатов обучения и
оценки качества диагностических средств
5.1 Метод оценки уровня сформированности компетенций обучаемого
5.2 Метод калибровки заданий теста на основе моделирования нормативных дихотомических матриц ответов
5.3 Метод расчета квазигенеральных оценок латентных параметров на основе моделирования нормативных дихотомических матриц ответов
5.4 Оценка эффективности методов калибровки заданий и расчёта квазигенеральных оценок латентных параметров при эмпирическом законе распределения
5.5 Методика экспертизы качества педагогического теста
5.6 Основные положения методологии оценки результатов компетентностно-ориентированного обучения
5.7 Модель мониторинга уровня подготовки обучаемых и оценки качества диагностических средств
5.8 Модель автоматизированной системы оценки уровня подготовки выпускников образовательных учреждений
Выводы к главе

О том, насколько полно обеспечено выполнение критериев качества диагностического средства (теста) при его разработке, можно судить по значениям основных показателей его качества: надёжности, валидности и разрешающей способности.
1.3.1 Надёжность гомогенного теста
Важнейшим показателем, характеризующим качество разработанного теста, является его надёжность, которая отражает точность тестовых измерений и устойчивость результатов тестирования в одинаково подготовленных группах тестируемых к воздействию случайных факторов [163]. Количественно она характеризуется коэффициентом надёжности теста гнт.
Существуют различные методы расчёта надёжности теста по результатам его эмпирической проверки на репрезентативной выборке респондентов, которые описаны в литературе [1; 137; 210; 225; 226; 237; 250]. Наиболее предпочтительным со статистической точки зрения является метод параллельных форм, когда надежность рассчитывается по результатам корреляции двух параллельных тестов, созданных для измерения одного и того же свойства. Однако из-за практического отсутствия параллельных тестов этот метод применяется редко. На практике чаще всего используется ретестовый метод, когда один и тот же тест двукратно применяется в одной группе студентов. Проверяется наличие корреляции результатов обоих сеансов тестирования, по которой оценивается надёжность теста. Чем выше коэффициент корреляции гк12 между двумя полученными массивами данных, тем выше надежность. Для расчета значения гк12 используется формула классического коэффициента корреляции Пирсона:

(1.1)

„ (2х.>2 » <Т,Г.>
л-1 1 л=