Разработка специального математического обеспечения процедур предварительной обработки информации в системах статистического анализа

• Автор: Чупеев, Андрей Николаевич
• Шифр специальности: 05.13.11, 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2008
• Место защиты: Воронеж
• Количество страниц: 117 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. АНАЛИЗ ПРОБЛЕМАТИКИ И СРЕДСТВ ПОВЫШЕНИЯ КАЧЕСТВА ИНФОРМАЦИОННОЙ БАЗЫ В СИСТЕМАХ СТАТИСТИЧЕСКОГО АНАЛИЗА

1.1. Проблематика качества информационной базы в системах статистического анализа.

1.2. Анализ методов предварительной обработки данных

для повышения качества информационной базы

1.3. Анализ эффективности реализации методов предварительной обработки данных в рамках существующих инструментальных систем

1.4. Цель и задачи исследования.

ГЛАВА 2. ПОВЫШЕНИЕ ДОСТОВЕРНОСТИ ИСХОДНЫХ ДАННЫХ

НА ОСНОВЕ МЕТОДОВ ИСКЛЮЧЕНИЯ НЕДОСТОВЕРНЫХ ДАННЫХ И ЗАПОЛНЕНИЯ ПРОБЕЛОВ.

2.1. Метод преобразования качественных показателей в численные оценки.

2.2. Алгоритмизация процедур исключения недостоверных данных.
2.3. Модификация метода для заполнения пробелов
Выводы.
ГЛАВА 3. ГГИМИЗАЦИЯ ПРИЗНАКОВОГО ПРОСТРАНСТВА В СИСТЕМАХ СТАТИСТИЧЕСКОГО АНАЛИЗА
И МОДЕЛИРОВАНИЯ
3.1. Алгоритм выбора метода анализа значимости признаков в
зависимости от характера решаемой задачи
3.2. Алгоритм исключения параметрической избыточности
признакового пространства.
3.3. Интегральные характеристики на основе нормированных показателей и балльных оценок
3.4. Алгоритм формирования однородных групп объектов
для моделирования
Выводы
ГЛАВА 4. ПРОГРАММНЫЙ КОМПЛЕКС ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ ДЛЯ СТАТИСТИЧЕСКОГО АНАЛИЗА И МОДЕЛИРОВАНИЯ.
4.1. Структура и основные функции системы предварительной обработки информации.
4.2. Реализация программного комплекса в условиях решения задач диагностики и прогноза.
ЗАКЛЮЧЕНИЕ.
ЛИТЕРАТУРА


Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: международной научно-технической конференции «Системные проблемы надежности, качества, математического моделирования, информационных и электронных технологий в инновационных проектах» (Москва-Сочи, ); научно-технической конференции «Интеллектуализация управления в социальных и экономических системах» (Воронеж, ); научно-методических семинарах кафедры «Технологических и автоматизированных систем электронного машиностроения» Воронежского государственного технического университета (- гг. Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения и приложения. Работа содержит 8 страниц, включая рисунков, таблиц, приложение и список литературы из 0 наименований. Во »велении обоснована актуальность темы, определены цель и задачи исследования, их научная новизна, практическая значимость полученных результатов, приведены сведения об апробации и внедрении работы. Первая глава посвящена анализу проблематики и средств повышения качества информационной базы для моделирования на основе использования алгоритмов предварительной обработки данных. В качестве предметной области выбраны медицинские статистические данные, которые имеют ряд особенностей: наличие как численных, так и качественных показателей, что усложняет их совместную обработку; большой процент пропущенных значений, не позволяющих использовать весь объем имеющихся данных при статистическом анализе и моделировании; наличие недостоверных данных, связанных с ошибками при регистрации и вводе показателей или являющихся артефактами; параметрическая избыточность и ряд других. Показано, что в настоящее время существует ряд стандартных методов, включенных в состав математических и статистических пакетов и позволяющих решать неко торые из перечисленных задач. Однако, не все статистические методы и алгоритмы можно применять для произвольного набора данных, некоторые процедуры (фильтрация многомерной информации, формирование интегральных оценок) не имеют эффективной реализации; в стандартных пакетах достаточно сложно реализовать оригинальный алгоритм или модифицировать имеющийся. Все это обуславливает необходимость разработки процедур предварительной обработки данных для статистического анализа и моделирования, включающих алгоритмы преобразования качественных показателей в численные оценки, фильтрации информации, заполнения пробелов, исключения параметрической избыточности, формирования интегральных оценок и реализации их в рамках интсп^ированного комплекса программных модулей. На основании проведенного анализа определяются цель и задачи исследования. Во второй главе показаны способы повышения достоверности исходных данных на основе методов исключения недостоверных данных и заполнения пробелов. Рассмотрен метод преобразования качественных характеристик в численные оценки, основанный на использовании лингвистических переменных и экспертного оценивания. Представлена процедура исключения недостоверных данных, позволяющие на основе классификационных методов рассчитать достоверность параметров, характеризующих объект и исключить из дальнейшего рассмотрения объекты, обладающие недостаточной информационной достоверностью. Проведена модификация метода заполнения пробелов «2ЕТ», который использует данные о группировке, полученные при исключении недостоверных данных, что позволяет значительно уменьшить ошибки, связанные со смещением среднего значения при заполнении. В третьей главе представлены методы оценки значимости признаков, основанные на корреляционном и регрессионном анализе, а также на оценках геометрического расстояния между объектами; алгоритм оптимизации признакового пространства, позволяющий отобрать минимальное количество признаков для дальнейшего моделирования с минимальной потерей общей информативности; методика построения интегральных оценок и формирования однородных групп. В четвертой главе приведено описание структуры и основных функций программного комплекса предварительной обработки информации, а также представлены результаты апробации предложенных процедур. Проведены вычислительные эксперименты с целью проверки результатов моделирования на экспериментальных выборках и выборках, подвергшихся предварительной обработке, показавшие ее эффективность и возможность использования на практике.