Математическое и программное обеспечение оценки достоверности результатов массового тестирования

• Автор: Карпинский, Виктор Болеславович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Великий Новгород
• Количество страниц: 132 с. : ил.

Содержание
Введение
Глава 1. Математическое моделирование тестирования
1.1. Математиче ские модели Раша
1.2. Статистические критерии достоверности измерения
1.2.1. Базовая статистика — нормированные уклонения
1.2.2. Статистики согласия для испытуемых
Глава 2. Исследование статистик согласия
2.1. Общая методология исследования
2.1.1. Генерация модельных матриц и искажений
2.1.2. Моделирование по реальным прототипам
2.1.3. Конструирование распределения параметров модели 2В
2.2. Исследование базовой статистики
2.2.1. Распределение нормированных уклонений
2.2.2. Причины особенностей распределения
2.2.3. Аппроксимация эмпирического распределения
2.3. Исследование других статистик
2.3.1. Эмпирические распределения статистик согласия
2.3.2. Эффективность статистических критериев 54 Глава 3. Технология оценки достоверности результатов тестирования
3.1. Оптимизация выбора критических значений
3.2. Композиционный критерий
3.3. Технология обработки данных тестирования
3.4. Программное обеспечение
3.5. Экспериментальная проверка
Заключение
Перечень сокращений и условных обозначений
Список использованной литературы
Приложение А. Образцы анализируемых данных тестирования и
примеры выходных файлов программ Приложение Б. Программный код (наиболее важные модули)

Введение
Актуальность темы исследования. Решение прикладных проблем и исследование естественнонаучных, социальных, экономических и технических объектов зачастую сводится к задаче измерения их латентных (скрытых от наблюдения) характеристик. Это измерение возможно только по данным тестирования (мониторинга). Полученная оценка латентной характеристики должна быть объективна, надёжна и достоверна. Поэтому актуальной является задача разработки специальных математических методов, позволяющих оценивать достоверность измерения латентных характеристик объектов.
Важным частным случаем является педагогическое тестирование. Для управления в сфере образования необходима объективная оценка качества подготовки лиц, освоивших образовательные программы. Это качество (уровень подготовленности) является латентной характеристикой и оценивается по данным тестирования с использованием заданий стандартизированной формы — контрольных измерительных материалов.
Родоначальником раздела науки, изучающего методы обработки результатов тестирования в рамках определённого типа математических моделей, явился датский учёный Георг Раш (George Rasch, 1901-1980). В работе [44], изданной в 1960 году, Г. Раш исходит из предположения, что чем выше уровень подготовленности испытуемого и чем ниже уровень трудности задания, тем выше вероятность того, что задание будет выполнено испытуемым верно. Это, в соответствии с предложенным Т. Бейесом подходом к оценке неизвестного параметра по результатам наблюдений, позволяет использовать для решения задачи мощный аппарат математической статистики. Очевидно, что процесс выполнения испытуемым теста случайным, в общем случае, не является. Однако применима информационная интерпретация понятий «случайность» и «вероятность» в математике: тестирование как процесс измерения связано с уменьшением

неопределенности наших сведений об объекте, мерой неопределённости события служит его вероятность.
Это направление получило значительное развитие в работах таких зарубежных специалистов как В. D. Wright [54-56], R. М. Smith [47-51],
Н. Huynh [39, 40], G. Karabatsos [41, 42] и других, а также отечественных учёных Ю. М. Неймана [30-32,21-23], Е. Ю. Кардановой [9-24].
В силу присущих им преимуществ (объективности, возможности контроля точности измерения, метрического характера шкалы) наиболее обоснован выбор для решения данной задачи семейства математических моделей тестирования Г. Раша, играющих большую роль в теории моделирования и параметризации тестов (ТМПТ, в англоязычной литературе IRT) современной теории тестирования. В данном диссертационном исследовании используется полигамическая модель Раша.
В рамках этой модели западными специалистами предложен ряд статистических критериев для проверки гипотезы о достоверности или недостоверности результатов тестирования [35, 37, 43, 45-46]. Однако эффективность этих методов была неоднократно подвергнута критике (например, в [41]). На начальных этапах настоящего исследования [26, 15] было показано, что их эффективность недостаточна в случае массового тестирования, и требуется разработка более эффективных методов. Таким образом, задача исследовать имеющиеся методы оценки достоверности результатов тестирования, выбрать или сконструировать статистический критерий, достаточно эффективный для массового тестирования, разработать и реализовать технологию оценки достоверности результатов массового тестирования является актуальной.
Целью исследования является разработка и реализация в виде комплекса программ специальных математических методов и алгоритмов оценивания достоверности результатов массового тестирования на основе математической модели Раша.

Сама по себе «щель» в вершине кривой эмпирического распределения (то есть его бимодальность) с точки зрения решаемых данным исследованием задач не так уж важна. Важнее наличие у распределения существенно более толстых, чем у нормального распределения, хвостов. Однако представляется правдоподобным, что оба дефекта, — и «щель», и хвосты, — порождаются одним и тем же комплексом причин. И вполне возможно, что эти причины имманентны (в рамках рассматриваемой ситуации). В любом случае, независимо от характера ещё не исследованных причин, существенное для решаемой нами задачи отклонение эмпирического распределения базовой статистики (нормированных уклонений) от стандартизованного нормального распределения можно считать доказанным. Но в ряде случаев это распределение приближённо (при допускающем сглаживание подходе) всё-таки можно считать стандартизованным нормальным.
Различия между формой эмпирического распределения нормированных уклонений для разных предметов чётко соответствуют некоторым особенностям предметов-прототипов. Требует проверки предположение, что причиной являются особенности распределения испытуемых по уровню их подготовленности и заданий по уровню их трудности.
2.2.2. Причины особенностей распределения
Для исследования зависимости особенностей эмпирического распределения нормированных уклонений от особенностей распределения исходных данных было решено использовать описанное в пункте 2.1.3 моделирование матриц ответов по прототипам с точно известным распределением параметров.
Таблица 2.2.5 содержит результаты, аналогичные данным таблицы 2.2.2, но полученные на модельных матрицах, указанных в таблице 2.1.4.