Разработка моделей и алгоритмов оценки качества тестовых материалов

• Автор: Попова, Елена Дмитриевна
• Шифр специальности: 05.13.17
• Научная степень: Кандидатская
• Год защиты: 2005
• Место защиты: Москва
• Количество страниц: 172 с. : ил.

ВВЕДЕНИЕ

1. АНАЛИЗ ПРОБЛЕМАТИКИ, СУЩЕСТВУЮЩИХ ПОДХОДОВ, НАУЧНЫХ ШКОЛ И НАПРАВЛЕНИЙ

1.1. Основы культуры тестирования.

1.2. Формирование классической и современной теории тестов

1.3. Квалиметрия в тестологин.

1.4. Подходы к обработке мнений экспертов.

1.5. Подходы к стандартизации представления тестовых материалов.

1.6. Выводы по главе

2. РАЗРАБОТКА МОДЕЛЕЙ РАСЧЕТА ХАРАКТЕРИСТИК ТЕСТОВЫХ ЗАДАНИЙ И БАНКОВ.

2.1. Методика расчета характеристик тестовых заданий по результатам пробного тестирования.
2.2. Разработка модели выборки тестовых заданий при экспертизе программнопедагогических тестовых материалов.
2.3. Разработка модели расчета объема выборочной совокупности студентов при тестировании.
2.4. Методика расчета надежности теста и погрешности измерения тестового балла
2.5. Методика расчета критериального балла
2.6. Методика оценки валидности банка тестовых материалов.
2.7. Разработка модели расчета количественных характеристик БТМ.
2.8. Расчет экономической эффективности при использовании разработанных моделей
2.9. Выводы по главе
3. РАЗРАБОТКА МЕТОДИКИ СОЗДАНИЯ КАЧЕСТВЕННЫХ ТЕСТОВЫХ МАТЕРИАЛОВ.
3.1. Эволюция сознания восприятия тестологин
3.2. Методические рекомендации по организации разработки тестовых материалов.
3.3. Разработка методики оценки качества тестовых материалов
3.4. Мера трудности, как фактор качества тестовых материалов
3.5. Разработка методики обработки результатов экспертизы на основе непараметрической статистики.
3.6. Методика расчета количества экспертов для проведения экспертизы тестовых заданий
3.7. Разработка технологии сертификации качества тестовых материалов.
3.8. Выводы по главе.

4. РАЗРАБОТКА АЛГОРИТМОВ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ЭКСПЕРТИЗЫ И СЕРТИФИКАЦИИ ТЕСТОВЫХ МАТЕРИАЛОВ
4.1. Разработка Интернетсистемы проверки корректности формулировок в ТЗ
4.2. Разработка способов поддержки спецификации I I.
4.3. Разработка системы Интернетэкспертизы.
4.4. Выводы по главе
Общие результаты и выводы.
Библиографический список
Приложение 1. Таблицы расчета ошибки выборочной совокупности при экспертизе
тестовых материалов.
Приложение 2. Таблицы расчета объема выборки ТЗ при экспертизе
Приложение 3. Таблица расчета ошибки выборки студентов при тестировании.
Приложение 4. Таблица расчета объема выборки студентов при тестировании.
Приложение 5. Таблицы для доли известных заданий и количества необходимого для этого
сеансов тестирования
Приложение 6. Таблицы для расчета длины теста н объема БТЗ при заданных условиях
агрессивности среды тестирования
Приложение 7. Алгоритм моделирования сеансов тестирования и узнаваемости банка. 6 Приложение 8. Информационная карта программнодидактических тестовых материалов
Приложение 9. Форма бланка проведения экспертизы тестовых материалов
Приложение . Форма протокола экспертизы валидности БТЗ
Приложение . Форма листа замечания по валидности БТЗ
Приложение . Возможности приложения АСТЭксперт.
Приложение . Возможности подсистемы проведения Интернетэкспертизы
Приложение . Интерфейс подсистемы проведения Интернетэкспертизы
Приложение . Обработка результатов Интернетэкспертизы
Приложение . Отношение для расчета экономической эффективности
Приложение . Расчет экономических затрат при проведении сертификации
Приложение . Акт внедрения результатов диссертации в Федеральной службе по
надзору в сфере образования и науки.
Приложение . Акты внедрения результатов диссертации в образовательных учреждениях.
ВВЕДЕНИЕ
Актуальность


Анализ научнопедагогической литературы и современной образовательной практики показал, сто в настоящее время в России идет процесс становления системы тестирования в области образования, а тестовые технологии рассматриваются как одно из объективных средств контроля качества подготовки и уровня предметных достижений учащихся. Однако для этого необходимо чтобы тестовые материалы были составлены, в соответствии с методологическими правилами, специалистами в предметной области, которые хорошо ознакомлены с концепцией компьютерного тестирования. БТЗ и композициями ПДТ. Должна быть проведена независимая экспертиза разработанных тестовых материалов, для того чтобы можно было оценить качество банков тестовых заданий. Анализ литературы показывает, что в настоящее время практически отсутствуют работы, направленные на оценку качества тестовых материалов, что говорит о необходимости проведения исследований в этой области. Таким образом, возникло объективное противоречие между растущей потребностью в использовании технологий компьютерного программнодидактического тестирования как средства эффективного управления функционированием и развитием образовательной системы и недостаточной проработкой вопроса обеспечения качества банков тестовых материалов. Оценку качества тестовых материалов невозможно рассматривать без использования методов квапимстрии, поскольку эта наука непосредственно связана с качеством. Квалиметрия зародилась как научная область, объединяющая количественные методы качества продукции. В нашем случае под продукцией будем понимать банки тестовых материалов. Термин квалиметрия от лат. Основными задачами традиционной количественной квалиметрии являются обоснование номенклатуры показателей качества, разработка методов их определения и оптимизации, оптимизация типоразмеров и параметрических рядов изделий, разработка принципов построения обобщенных показателей качества и обоснование условий их использования в задачах стандаргизации и управления качеством. Математическая модель качества может рассматриваться как некоторая абстрактная система отдельных свойств, имеющих разную степень сложности. Подстановка в эту модель значений конкретных показателей свойств качества характерна для того или иного конкретного объекта позволяет перейти от общей абстрактной модели качества к определенной модели качества реально существующего объекта. Особо нужно отметить педагогическую квалиметрию, которая рассматривает применение методов квалиметрии к оценке психологопедагогических и дидактических объектов. В педагогической квалиметрии рассматриваются как общие проблемы измерений в педагогике и дидактике9, так и конкретные задачи, связанные с измерениями в педагогических исследованиях, такие, напри. Многие вопросы по квалиметрии рассмотрены в трудах отечественных ученых И. Б. Ительсона , Б. П. Битинаса, Л. М. Фридмана, С. И. Архангельского , Н. М. Розенберга, А. М. Сохора 2 4 3, М. И. Грабаря , П. Н. Воловика , В. И. Огорелкова, Черепанова7 и др. Среди зарубежных ученых, внесших вклад в становление педагогической квалиметрии следует в первую очередь отметить работы А. А.Анастази, Р. Аткинсона, Р. Буша, Дж. Гласа, Дж. Стенли 8. В гг. Тем самым были заложены основы педагогической кибернетики новой науки появившейся на стыке педагогики, психологии, математики и кибернетики. Дальнейшее развитие педагогическая кибернетика получила в е годы благодаря широкому применению матемаппеских . ЭВМ в учебный процесс. Из многочисленных работ по педагогической кибернетике можно выделить те, которые имеют отношение к педагогической квалиметрии. Это работы С. И. Архангельского , В. П.Беспалько , Н. В.Кузьминой, которые посвящены системному анализу в педагогических процессах. Важнейшей задачей квалиметрии является преобразование количества в качество. Под количественной оценкой понимается величина измеренная по некоторой шкале, например метр, кг. Показатель качества используется в случаях когда данный предмет объект или явление невозможно измерить некоторым числом, а возможно лишь сопоставить его с другими объектами той же природы.