Методы и алгоритмы анализа и агрегирования групповых экспертных оценок

• Автор: Бурков, Евгений Александрович
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Санкт-Петербург
• Количество страниц: 189 с. : ил.

ОГЛАВЛЕНИЕ

Условные обозначения и сокращения

Введение.
Глава 1. Анализ проблематики группового экспертного оценивания и постановка задач исследования

1.1. Этапы и задачи экспертизы.

1.2. Оценка компетентности и объективности экспертов.

1.2.1. Компетентность экспертов

1.2.2. Объективность экспертов.

1.3. Построение системы критериев оценивания.

1.3.1. Формирование перечня критериев оценивания.

1.3.2. Определение значимости критериев оценивания.

1.3.3. Разработка шкалы оценивания.
1.4. Анализ согласованности экспертных мнений
1.4.1. Критерии согласованности ранжирований.
1.4.2. Критерии согласованности непосредственных численных оценок
1.4.3. Критерии согласованности парных сравнений.
1.5. Агрегирование экспертных мнений.
1.5.1. Агрегирование ранжирований
1.5.2. Агрегирование непосредственных численных оценок.
1.5.3. Агрегирование парных сравнений
1.6. Сравнительный анализ методов многокритериального выбора.
1.6.1. Метод и его модификации.
1.6.2. Метод и его модификации.
1.6.3. Метод анализа иерархий и его модификации
1.6.4. Сравнение методов многокритериального выбора
1.7. Тренажерные комплексы и их экспертное оценивание
1.8. Выводы по первой главе
Глава 2. Алгоритмы агрегирования экспертных мнений
2.1. Модификация метода анализа иерархий для решения задач группового выбора
2.1.1. Критерий согласованности матриц парных сравнений
2.1.2. Алгоритм агрегирования экспертных мнений
2.1.3. А1ГОритм выделения коалиций экспертов.
2.1.4. Основные варианты разбиения экспертной фуипы на коалиции
2.1.5. Агрегирование частично противоречивых экспертных мнений.
2.2. Унифицированный алгоритм агрегирования экспертных оценок
2.3. Результаты и выводы по второй главе.
Глава 3. Метод выявления аффилированных экспертов.
3.1. Действия аффилированного эксперта и меры противодействия
3.2. Анализ объективности экспертных оценок на основе вероятностностатистической модели.
3.2.1. Определение характеристик эксперта по результатам предыдущих экспертиз.
3.2.2. Выявление аффилированных экспертов
3.3. Атгоритм выявления аффилированных экспертов.
3.4. Подбор экспертов с учетом их субъективных качеств
3.5. Результаты и выводы по третьей главе.
Глава 4. Методика обработки экспертных оценок на основе факторного анализа
4.1. Построение иерархии критериев оценивания альтернатив.
4.1.1. Получение данных для проведения факторного анализа
4.1.2. Проведение факторного анализа
4.1.3. Выявление связей и определение локальных и глобальных приоритетов
4.1.4. Содержательная интерпретация факторов
4.2. Разбиение экспертной 1руппы на коалиции на основе результатов факторного анализа.
4.2.1. Проведение факторного анализа экспертных оценок
4.2.2. Разбиение экспертной группы на коалиции
4.2.3. Определение относительной значимости экспертов.
4.3. Получение обобщенных и интегральных оценок альтернатив.
4.4. Результаты и выводы по четвертой главе.
Глава 5. Опенка качества тренажерных комплексов.
5.1. Основополагающие требования к тренажерным комплексам.
5.2. Оценка компетентности экспертов
5.3. Иерархия показателей качества тренажерных комплексов.
5.4. Способ опроса экспертов
5.5. Анализ и обработка экспертных оценок.
5.6. Результаты по пятой главе
Заключение
Список литературы


А если при вычислении обобщенной оценки каждой альтернативы используются весовые коэффициенты (например, отражающие компетентность экспертов), то может возникнуть ситуация, когда самую маленькую/большую оценку рассматриваемой альтернативе поставили несколько экспертов с различными весовыми коэффициентами, и возникает вопрос, чью оценку следует отбросить. В [-] предлагается способ учета необъективности эксперта, который основан на использовании информации о конъюнктурных предпочтениях эксперта. Вводится матрица конъюнктурности эксперта, элементы которой отражают степень его личной заинтересованности в результатах экспертизы. К,. Коб) — мера близости между двумя ранжированиями; К^ — обобщенное ранжирование альтернатив, полученное путем агрегирования ранжирований группы экспертов. Коэффициент коньюнктурности (1. Чем больше его значение, тем выше необъективность эксперта. Некоторым недостатком данного способа учета необъективности можно считать то, что он ориентирован на применение в тех случаях, когда мнения экспертов представлены в виде ранжирований. Основной же недостаток его в том, что исходя из способа расчета коэффициента (1. В работах [, 4] предлагается для уменьшения необъективности экспертов поставить уровень их оплаты в зависимость от уровня их компетентности и объективности. Для этого вводится понятие значимости эксперта, состоящее из двух компонент — компетентности и объективности. Предполагается, что компетентность достаточно медленно изменяется с течением времени. Для ее оценки имеется большое число методик, учитывающих стаж и опыт работы в данной области, ученую степень и ученое звание, публикации эксперта и другие факгоры. Объективность должна определяться по результатам нескольких предыдущих экспертиз на основе учета отклонения оценок конкретного эксперта от средних оценок в предыдущих экспертизах. Чтобы оплата эксперта в будущем сильно зависела от его объективности в каждой из проводимых им экспертиз, предлагается использовать критерий среднего геометрического с учетом давности экспертизы. Пусть эксперт участвовал в Г экспертизах и имел следующие (частные) оценки объективности #,,#2,. Использование оценки объективности эксперта (1. Во многих областях своей деятельности человек сталкивается с ЗМКВ на некотором множестве альтернатив, различающихся по ряду частных показателей (критериев), которыми могут быть, например, экономические показатели, технические характеристики, функциональные возможности и т. Использование множества критериев оценивания позволяет осуществить переход от таких сложных и в некоторой степени абстрактных понятий как «качество», «эффекгивность» или «важность» объекта экспертизы к более простым и конкретным критериям, из которых складываются эти понятия и которые более пригодны для оценки. При этом не все критерии допускают объективную оценку. Так, если критерии «себестоимость» или «срок окупаемое™» позволяют получить объективную оценку, то, например, по критерию «качество продукции» может быть получена только субъективная оценка. Прогнозная оценка по объективным критериям также зачасту ю будет иметь субъективный характер. В подобных случаях, когда оценка альтернатив должна производиться преимущественно по субъективным критериям, принято прибегать к методам экспертного оценивания, в которых используются специально разработанные вербально-числовые шкалы оценок. Решение ЗМКВ методами экспертного оценивания обычно предполагает количественную оценку всех альтернатив по каждому из критериев, затем вычисление тем или иным способом (в большинстве случаев используется линейная свертка оценок по различным критериям) интегральной оценки каждой альтернативы. Далее производится выбор той из сравниваемых альтернатив, интегральная оценка которой будет иметь наибольшее значение. Выставление альтернативам первоначальных оценок, на основе которых вычисляются их интсфальные оценки, осуществляется специально приглашенными для выполнения этой задачи экспертами, которые либо являются специалистами в той области, к которой принадлежат сравниваемые альтернативы, либо хорошо разбираются в отдельном их аспекте. Способ вычисления интефальных оценок альтернатив определяется выбранным для проведения экспертизы методом экспертного оценивания и видом экспертных оценок.