Система интеллектуального анализа и оценивания конструируемых ответов при автоматизированном тестировании

• Автор: Базарон, Сэсэг Арсалановна
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Улан-Удэ
• Количество страниц: 188 с. : ил.

Введение.
1. Обзор современного состояния проблем оценивания ответов при автоматизированном тестировании.

1.1 Основные понятия и определения

1.2 Модели оценивания знаний в системах автоматизированного тестирования

1.2.1 Модели оценки знаний с использованием четких тестов.

1.2.2 Модели оценки знаний с использованием нечетких тестов.

1.3 Обзор методов и алгоритмов оценивания ответов на открытый по форме вопрос в системах тестирования

1.4 Описание проблемы и постановка задачи.

1.5 Выводы по разделу.

2. Модель системы автоматизированной обработки информации в конструируемых ответах на задания второго уровня усвоения АСКЗ.

2.1 Компонент анализа ответа на тестовое задание типа Подстановка

2.2 Компонент анализа ответа на тестовое задание типа Воспроизведение .
2.3 Компонент анализа ответа на тестовое задание Типовая задача.
2.4 Компонент нечеткий логический регулятор, определяющий степень правильности ответа.
2.4.1 Основные положения применения аппарата нечеткой логики
2.4.2 Фаззификация
2.4.3 Нечеткий логический вывод.
2.4.4 Дефаззификация
2.5 Способ генерации базы нечетких продукционных правил.
2.6 Выводы по разделу.
3. Способы интеллектуального анализа ответов на вопросы типа Подстановка и Воспроизведение.
3.1 Примеры тестовых заданий типа Подстановка и Воспроизведение
3.2 Способ анализа ответа на вопрос типа Подстановка
3.2.1 Формирование множества синонимов эталонного ответа и нечеткого
отношения.
3.2.2 Определение терминов с орфографическими ошибками и их исправление
3.2.3 Определение количественного и качественног о показателей ответа
3.3 Способ анализа ответов на вопросы типа Воспроизведение.
3.3.1 Построение графов зависимостей и их обработка
3.3.2 Определение степени близости двух графов.
3.4 Построение базы нечетких продукционных правил оценивания ответов на задания типа Подстановка и Воспроизведение.
3.5 Выводы по разделу
4. Способ интеллектуального анализа ответов на вопрос Типовая задача по естественнонаучному циклу дисциплин.
4.1 Способ анализа ответов на вопросы, требующие в качестве ответа табличное представление решения задачи.
4.2 Способ анализа ответа на вопрос, требующий написание хода решения
задачи.
4.2.1 Методика составления спецификации теории.
4.2.1.1 Аксиомы различных теорий.
4.2.1.2 Описание методики составления спецификации теории
4.2.2 Анализ множества формул ответа тестируемого
4.2.3 Вывод формул на основе преобразований
4.2.3.1 Модель автомата преобразователя
4.2.3.2 Пример вывода формул на основе преобразований
4.2.4 Определение показателей ответа
4.3 Построение базы нечетких продукционных правил оценивания ответов на задания Типовая задача
4.4 Выводы по разделу
5. Описание вычислительных экспериментов
5.1 Онтология предметной области дисциплины специальности.
5.1.1 Модель онтологии
5.1.1.1 Конструкция знаков концептуальных объектов
5.1.1.2 Структуры словарных статей концептуальных объектов
5.1.2 Пример фрагмента онтологии.
5.2 Описание программного обеспечения
5.2.1 Компонент Интерфейсная часть системы.
5.2.2 Компонент Создание тестовых заданий
5.2.3 Подсистема автоматизированного оценивания ответов на тестовое задание открытого типа
5.3 Анализ вычислительных экспериментов.
5.3.1 Выбор функции принадлежности и метода дефаззификапии.
5.3.1 Тестирование базы нечетких продукционных правил
5.3.1.1 Определение согласованности мнений экспертов.
5.3.1.2 Экспертный анализ результатов
5.3.2 Тестирование способа обнаружения и исправления орфографических ошибок
5.3.3 Тестирование автоматапреобразователя
5.4 Выводы по разделу.
Заключение
Список литературы


Балл категории ответа на тестовое задание балл, соответствующий определенной категории ответа на политомическое задание в зависимости от уровня полноты ответа например, категория ответа на уровне узнавания один балл, на уровне репродукции два балла, на уровне оперативного применения три балла и т. Эталон ответа образец ответа на вопрос, предназначенный для сравнения с ответом обучаемого. I уровень а, узнавание. Это алгоритмическая деятельность при внешне заданном алгоритмическом описании с подсказкой. II уровень а2 воспроизведение. Репродуктивное действие путем самостоятельного воспроизведения по памяти и применения информации о ранее усвоенной ориентировочной основе выполнения типового действия, т. III уровень Xэвристическая деятельность. Продуктивное действие, выполняемое на некотором множестве объектов, подобных изученным учебным элементам. ООД для выполнения нетипового действия. Это деятельность, выполняемая не по готовому, а созданному в ходе самого действия алгоритму или правилу. IV уровень а4 творческая деятельность. Продуктивное действие, выполняемое путем самостоятельного конструирования объективно новой ООД. В процессе выполнения деятельности IV уровня добывается объективно новая информация. Человек действует без правил, но в известной ему области, создавая новые правила, творческая исследовательская деятельность. Согласно приведенной классификации уровней усвоения было предложено использовать тест как инструмент, который позволяет объективно оценивать качество усвоения знаний учащимися. Самыми простыми тестами считаются тесты первого уровня усвоения. В данной работе будут рассмотрены тесты второго уровня усвоения. Тесты второго уровня усвоения служат для выявления знаний и умений учащихся самостоятельно по памяти воспроизводить и применять ранее усвоенную в алгоритмической форме деятельность, решать типовые задачи. К ним относятся тесты на подстановку, тесты на воспроизведение, тестытиповые задачи. Наиболее простыми тестами второго уровня являются тестыподстановки, в которых намеренно пропущены слова, фраза, формула, условные обозначения, линии или изображения элементов схем или другой какойлибо существенный элемент текста. Эталоном тестаподстановки служит кортеж, состоящий из пропущенных элементов. Число существенных операций равно длине этого кортежа. Тесты на воспроизведение не содержат ни намеков, ни подсказок. Они требуют от учащегося самостоятельного воспроизведения ответа решения воспроизвести формулировку, дать характеристику, написать формулу уравнение, доказать теорему, выполнить чертеж или график. В последние годы в сфере образования происходит интенсивное развитие автоматизированных систем контроля знаний. Блок оценивания знаний в этих системах основан на реализации различных моделей оценки результатов тестирования. Условно все модели можно разбить на две категории с использованием четких тестов и нечетких тестов. В соответствии с классификацией моделей четких тестов, выполненной Дупликом С. В. , существуют классическая модель, классическая модель с учетом сложности заданий, модель с возрастающей сложностью, модель с разделением заданий по уровням усвоения, модель с учетом времени ответа на задание, модель с ограничением времени на тест, адаптивная модель. Ниже приведен анализ этих моделей, который позволил выявить их основные достоинства и недостатки. Кроме того, рассмотрены существующие системы автоматизированного тестирования, в которых они реализованы. Классическая модель. Имеется элементное множество заданий, из которою формируется тест из к заданий, выбранных системой случайным образом. Результат выполнения тестируемым каждого задания оценивается как правильно или неправильно. Итоговая оценка выполнения всего теста рассчитывается от процента правильно выполненных заданий. Достоинством модели является простота ее реализации. Недостаток модели заключается в том, что оценка результатов тестирования зависит только от количества правильных ответов без учета сложности заданий. Кроме этого, изза случайности выборки невозможно определить, какие задания по сложности будут включены в тест.