Математические модели тестирования, позволяющие осуществлять измерения

• Автор: Овчинников, Всеволод Валентинович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Великий Новгород
• Количество страниц: 106 с. : ил.

Содержание
Введение

1 Основные модели теории тестирования

1.1 Классическая теория тестирования

1.2 Теория моделирования и параметризации тестов.

1.2.1 Нормальная модель.

1.2.2 Однопарамстричсская модель Раша.

1.2.3 Двух параметрическая модель Бирнбаума.

1.2.4 Трехпараметрическая модель Бирнбаума

2 Измерения и модели

2.1 Исследование измерительных возможностей процедуры тестирования

2.2 Модель, позволяющая производить измерения
2.3 Модель, позволяющая производить измерения.
Политомический случай
3 Прикладные вопросы ТПМТ
3.1 Методы оценивания
3.1.1 Классический метод максимального правдоподобия и
его применение
3.1.2 Метод безусловного максимального правдоподобия и
его применение
3.1.3 Метод условного максимального правдоподобия и его
применение
3.1.4 Метод, основанный на классическом подходе к оцениванию
параметров.
3.2 Характеристическая функция теста.
3.2.1 ХФТ при равномерном распределении трудностей тестовых заданий.
3.2.2 ХФТ при нормальном распределении трудностей тестовых заданий
3.2.3 Сравнение ХФТ при различных распределениях трудностей заданий .
3.3 Конструирование тестов.
3.3.1 Информационная функция задания. Информационная функция
3.3.2 Весовая функция задания. Весовая функция теста . .
3.3.3 Задача линейного программирования.
3.3.4 Линейное программирование и конструирование тестов
4 Заключение
5 Приложения
5.1 Программа обработки результатов тестирования.
5.2 Комплекс программ но работе с базой данных заданий .
Введение
Данная работа посвящена использованию математических моделей в такой казалось бы нетрадиционной для математики области как педагогическое тестирование. Основная цель теоретически исследовать возможности оценивать учебные достижения испытуемых на метрической шкале и трактовать, таким образом, педагогическое тестирование как процесс измерения в полном смысле этого слова. Понятно, что подобная трактовка возможна только в рамках определенной модели, и наша задача выделить тот класс моделей, которые действительно позволяют отказаться от традиционной порядковой шкалы отлично, хорошо и т.п. и перейти на детальную шкалу интервалов.
Идея массового оценивания какихлибо характеристик испытуемых при помощи более дешевых и более объективных, но сравнению с экспертными оценками, тестов возникла достаточно давно. Однако реальное научное обоснование заложено только в конце прошлого столетия в работах математиков . Дания и . i США, показавших принципиальную возможность инвариантности количественных характеристик испытуемых относительно количественных характеристик тестовых заданий. В нашей стране подобные результаты получили название Теория моделирования и параметризации тестов, сокращенно ТМПТ.
В рамках этой теории ответ участника тестирования па задание трактуется как реализация некоторой случайной величины, чье распределение зависит от многих параметров, в частности от параметров самого задания и параметров самого испытуемого. Основу модели составляет так называемая функция успеха, описывающая вероятность верного выполнения того или иного задания тем или иным участником тестирования в зависимости
от параметров этого задания и этого участника тестирования.
В настоящее время разработано довольно много моделей ТПМТ. Эти модели широко используются в медицине, биологии, педагогике , . Разрабатывались критерии, позволяющие судить об адекватности модели реальным данным. Исследовалась адекватность существующих на данный момент моделей реальным данным, сравнивались между собой различные критерии адекватности. Автором исследовалась адекватность модели с частично верными ответами. Эта модель используется в настоящее время для обработки результатов централизованного тестирования и единого государственного экзамена. В результате анализа было установлено, что в целом, модель адекватна реальным данным, по существует небольшое количество заданий, для которых значение статистики, используемой для проверки адекватности, существенно превышает допустимый порог. Причем уровень трудности этих заданий значительно превышал среднюю трудность по тесту, то есть эти задания были очень сложны для выполнения. При детальном изучении этих заданий выяснилось, что причина неадекватности заключается в том, что небольшое количество участников тестирования 5 человек с низким уровнем подготовленности получили за эти задания высокие баллы или, если речь идет о дихотомических заданиях, верно их выполнили. В силу того, что уровень трудности этих заданий намного выше среднего, можно предположить, что слабо подготовленные участники тестирования получили высокие баллы не решая эти задания, а списывая их. В случае честного решения этих заданий, участники тестирования с низким уровнем подготовленности получили бы за эти задания минимально возможные баллы. После внесения соответствующих изменений в матрицы ответов и пересчета результатов выяснилось, что трудности этих заданий остались практически такими же, какими были до измене
ний, а мера согласия данных с моделью значительно улучшилась. То есть неадекватность модели была обусловлена несоблюдением правил проведения процедуры тестирования. Болес подробно эти результаты изложены в .
Однако вопросы, связанные с адекватностью моделей, выходят за рамки данной работы, поэтому в дальнейшем к вопросам адекватности автор возвращаться не будет. Более детально с ними можно ознакомиться, например, в работах , , .
Не существовало функции, дающей характеристику теста в целом. К тому же, недостаточно исследованы численные методы оценивания параметров различных моделей. При конструировании тестов довольно часто используется информационная функция задания количество информации по Фишеру, однако, совсем неисследованным оказался подход, основанный на весовых функциях задания.
Задача конструирования тестов обычно сводится к задаче линейного программирования. Для некоторых частных случаев были описаны соответствующие им задачи линейного программирования, но не оказалось методики, позволяющей представить задачу конструирования тестов для произвольной спецификации в виде задачи линейного программирования. Все это и определило направление исследований и выбор темы диссертационной работы.
Диссертация состоит из введения, трех глав и приложения.
В первой главе дается краткий исторический обзор развития тестирования. Сформулированы основные постулаты классической теории тестирования и показаны ее основные недостатки. Описаны четыре основные математические модели современной теории тестирования
ТМПТ, предназначенные для обработки тестов, составленных из дихотомических заданий.
Во второй главе формализуются понятия теста как измерительного инструмента и непосредственно процесса измерения в случае использования тестов. Формулируются требования, которым должна отвечать модель ТМПТ, для того, чтобы с ее помощью можно было проводить измерения. Анализируются рассмотренные во второй главе модели ТМПТ. Для случая, когда уровень подготовленности участника тестирования полностью характеризуется одним числом и каждое тестовое задание также полностью характеризуются одним числом, выводится общий вид модели, удовлетворяющей требованиям, предъявляемым к тестированию как к процессу измерения. Выводится обобщение этой модели на случай политомических заданий
В третьей главе рассматриваются прикладные вопросы ТМПТ. Анализируются различные численные методы оценивания параметров участников тестирования и тестовых заданий в рамках одпопараметричсской модели Раша. Рассматривается вопрос, связанный с конструированием теста с заранее определенными свойствами.
В приложение описывается программное обеспечение, разработанное но заказу федерального центра тестирования для обработки результатов централизованного тестирования и единого государственного экзамена и для сопровождения базы данных тестовых заданий.
Актуальность


Эта модель используется в настоящее время для обработки результатов централизованного тестирования и единого государственного экзамена. В результате анализа было установлено, что в целом, модель адекватна реальным данным, по существует небольшое количество заданий, для которых значение статистики, используемой для проверки адекватности, существенно превышает допустимый порог. Причем уровень трудности этих заданий значительно превышал среднюю трудность по тесту, то есть эти задания были очень сложны для выполнения. При детальном изучении этих заданий выяснилось, что причина неадекватности заключается в том, что небольшое количество участников тестирования 5 человек с низким уровнем подготовленности получили за эти задания высокие баллы или, если речь идет о дихотомических заданиях, верно их выполнили. В силу того, что уровень трудности этих заданий намного выше среднего, можно предположить, что слабо подготовленные участники тестирования получили высокие баллы не решая эти задания, а списывая их. В случае честного решения этих заданий, участники тестирования с низким уровнем подготовленности получили бы за эти задания минимально возможные баллы. То есть неадекватность модели была обусловлена несоблюдением правил проведения процедуры тестирования. Болес подробно эти результаты изложены в . Однако вопросы, связанные с адекватностью моделей, выходят за рамки данной работы, поэтому в дальнейшем к вопросам адекватности автор возвращаться не будет. Более детально с ними можно ознакомиться, например, в работах , , . Не существовало функции, дающей характеристику теста в целом. К тому же, недостаточно исследованы численные методы оценивания параметров различных моделей. При конструировании тестов довольно часто используется информационная функция задания количество информации по Фишеру, однако, совсем неисследованным оказался подход, основанный на весовых функциях задания. Задача конструирования тестов обычно сводится к задаче линейного программирования. Для некоторых частных случаев были описаны соответствующие им задачи линейного программирования, но не оказалось методики, позволяющей представить задачу конструирования тестов для произвольной спецификации в виде задачи линейного программирования. Все это и определило направление исследований и выбор темы диссертационной работы. Диссертация состоит из введения, трех глав и приложения. В первой главе дается краткий исторический обзор развития тестирования. Сформулированы основные постулаты классической теории тестирования и показаны ее основные недостатки. ТМПТ, предназначенные для обработки тестов, составленных из дихотомических заданий. Во второй главе формализуются понятия теста как измерительного инструмента и непосредственно процесса измерения в случае использования тестов. Формулируются требования, которым должна отвечать модель ТМПТ, для того, чтобы с ее помощью можно было проводить измерения. Анализируются рассмотренные во второй главе модели ТМПТ. Для случая, когда уровень подготовленности участника тестирования полностью характеризуется одним числом и каждое тестовое задание также полностью характеризуются одним числом, выводится общий вид модели, удовлетворяющей требованиям, предъявляемым к тестированию как к процессу измерения. В третьей главе рассматриваются прикладные вопросы ТМПТ. Анализируются различные численные методы оценивания параметров участников тестирования и тестовых заданий в рамках одпопараметричсской модели Раша. Рассматривается вопрос, связанный с конструированием теста с заранее определенными свойствами. В приложение описывается программное обеспечение, разработанное но заказу федерального центра тестирования для обработки результатов централизованного тестирования и единого государственного экзамена и для сопровождения базы данных тестовых заданий. Актуальность диссертации обусловлена тем, что в качестве контроля качества все чаще используются не экспертные оценки, а различные тесты. Именно поэтому необходимо определиться, какой же моделью ТМПТ пользоваться при обработке результатов и решить множество попутно возникающих проблем, связанных с конструированием тестов.