Алгоритмическое и программное обеспечение систем диагностики компетенций

• Автор: Иванов, Георгий Валентинович
• Шифр специальности: 19.00.03
• Научная степень: Кандидатская
• Год защиты: 2015
• Место защиты: Санкт-Петербург
• Количество страниц: 131 с. : ил.

ОГЛАВЛЕНИЕ:
ВВЕДЕНИЕ
Глава 1. Проблемы и перспективы в области автоматизированного тестирования знаний.
1.1.Теоретические находки и эмпирические основания педагогической тестологии.
1.2 От знаний к навыкам - современные тестологические подходы к оценке сформированности практических умений.
Выводы по главе
Глава 2. Разработка автоматизированной системы предъявления и оценки тестовых заданий.
2.1 Структура автоматизированной системы.
2.2 Разработка алгоритмов моделирования ситуационных задач в практике обучения специалиста-психолога.
Глава 3. Результаты тестирования знаний и навыков среди студентов, обучающихся по специальности “Клиническая психология”.
3.1. Результаты тестирования знаний студентов.
3.2. Коррекция содержания банка заданий.
3.3 Экспериментальная оценка профессиональных навыков с помощью макета автоматизированной системы моделирования ситуационных задач.
Заключение.

Введение.
Актуальность темы исследовании.
В настоящее время разнообразные тесты (от англ. test - испытание) широко применяются как для экзаменационных испытаний и мониторинга достижений при обучении, так и для профессионального отбора работников. Однако у большинства используемых в настоящее время тестов можно отметить два недостатка: содержательный и математико-статистический.
Содержательный недостаток можно определить как недостаток экологической валидности: в тесте испытуемый отвечает на не связанные между собой вопросы, в то время как в реальной деятельности специалист находится в развивающейся профессиональной ситуации, на которую он может влиять своими действиями.
Математико-статистический недостаток заключается в том, что результат теста (например, уровень знаний испытуемого в определенной области науки) зависит от того, какой конкретно тест был применен. Более полезными были бы измерения, не зависящие от того, какой именно тест был применен, а зависящие только от характеристик испытуемого.
Измерения, основанные на т.н. современной теории тестов (Item Response Theory, IRT), не зависят от того, какой именно тест был применен. Однако описанные в литературе численные методы, используемые для точной оценки параметров модели (методы локальной оптимизации функции максимального правдоподобия), могут в части случаев выставлять испытуемым оценки успешности, не имеющие ничего общего с реальным положением дел.
Рядовые пользователи тестов (психологи и педагоги) в большинстве случаев не могут позволить себе тратить время на программирование и математическое обеспечение тестов, но нуждаются в возможности легко создавать тесты, лишенные указанных выше недостатков. Таким образом, разработка новых алгоритмов тестирования и написание программного обеспечения для создания

тестов, проведения испытании и обработки данных позволят внедрить тестирование в образование и профотбор более широко, чем это было ранее, одновременно уменьшив традиционные недостатки, присущие тестированию как методу (несоответствие теста реальной деятельности; зависимость результатов от субъективно выбранного теста).
Степень ее разработанности:
Проблема анализа данных тестов типа “вопрос-выбор варианта ответа” разрабатывается с конца XIX в., когда Ф.Гальтон предложил классическую теорию теста. В 1960-х IRT отчасти заменила классическую теорию теста. Сегодня разрабатываются модели MIRT (Multidimensional Item Response Theory), предполагающие что ответ испытуемого на каждый вопрос детерминируется несколькими скрытыми переменными - компетенциями (Handbook of statistics. Volume 26: Psychometrics). Создаются адаптивные тесты, в которых история ответов испытуемого определяет то, какой по сложности вопрос будет предъявлен следующим (Ушаков Д.В., 2006). Наконец, разрабатываются новые модели для анализа данных тестирования, использующие информацию о времени, затраченном испытуемым для решения задачи в дополнение к обычному индикатору правильности ответа (Попов, 2009). Однако отмеченные выше недочеты в алгоритме оценки параметров моделей в полной мере разделяются всеми этими подходами, причем ситуация для сложных MIRT моделей усугубляется “проклятием многомерности” (трудностями оценки множества латентных параметров модели по матрице ответов испытуемых). Естественно начинать устранение этих противоречий с наиболее хорошо изученного случая одномерной однопараметрической IRT модели (модели Раша), что и предлагается в данной работе.
Наряду с развитием аппарата классических тестов за рубежом разрабатываются также системы симуляции профессиональных ситуаций: CASUS, vpSim, OpenLabirinth и другие. В данной работе проводится обзор существующих систем симуляции и описывается созданная нами систему QuestMaker, по ряду

1.2.2 Математические подходы к шкалнроваппю и оценке результатов решения моделируемых профессиональных задач.
Протокол экзамена в системе СВХ представляет собой последовательность действий, выполненных экзаменуемым (Julian E.R., Wright
B.D., 1988). Описание выборки экзаменующихся представляло собой таблицу. Каждый столбец этой таблицы соответствовал одной из тестовых единиц, сформулированных экспертным комитетом. Строка соответствовала испытуемому. Если в протоколе испытуемого находилась определенная положительная тестовая единица, в клетку таблицы, находящуюся на пересечении данной строки (испытуемого) и данного столбца (тестовой единицы) заносилось некоторое количество баллов, в зависимости от того, в какое время и после каких действий медик выполнил данную тестовую единицу. Отметим, что хотя за некоторые тестовые единицы можно было получить до 7 баллов, награда за другие задания могла варьировать от 0 до 3 баллов, а некоторые задания вообще были дихотомическими (сделал/не сделал, неважно после чего), в зависимости от того, сколько модулирующих ценность выполнения данной тестовой единицы контекстов смог выделить экспертный комитет.
Аналогично в таблицу заносились и отрицательные (рисковые) тестовые единицы, с той только разницей, что баллы начислялись за невыполнение действий (также в зависимости от контекста).
Отметим, что аналогичную по виду таблицу с баллами можно получить, предъявляя испытуемому задачи, решающиеся в несколько действий - шагов (например, уравнения с одним неизвестным). Если испытуемый правильно выполнил только первое действие, он получает за данное задание 1 балл. Если правильно выполнены первые два действия, а в третьем ошибка, за данное задание начисляется 2 балла, и т.д.