Разработка математических моделей хранения и обработки данных большой размерности с высокой степенью достоверности

• Автор: Алексеев, Александр Иванович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Ставрополь
• Количество страниц: 152 с. : ил.

СОДЕРЖАНИЕ
ВВЕДЕНИЕ.

1 АНАЛИТИЧЕСКИЙ ОБЗОР. МАТЕМАТИЧЕСКИЕ МОДЕЛИ

ХРАНЕНИЯ И ОБРАБОТКИ БОЛЬШИХ ОБЪЕМОВ

ИНФОРМАЦИИ

1.1 Анализ моделей вычислений в больших диапазонах

1.2 Анализ моделей хранения и доступа к данным

1.3 Анализ моделей распределенной обработки данных

1.4 Обоснование целесообразности применения системы

остаточных классов для вычислений в больших диапазонах и обработки больших объемов информации в распределенных системах.

1.5 Постановка задач исследования.

Выводы по главе 1.
2 РАЗРАБОТКА МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ
РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ И ОБРАБОТКИ ДАННЫХ .
2.1 Разработка принципов построения математических моделей
хранения и обработки высокоразрядных данных.
2.2 Разработка математической модели распределенного хранения данных большой размерности на основе модулярной
арифметики и аппарата пороговых схем.
2.3 Разработка математической модели распределенной обработки данных большой размерности на основе модулярной
арифметики и аппарата пороговых схем.
Выводы по главе 2.
3 РАЗРАБОТКА ПРОГРАММНОГО КОМПЛЕКСА
РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ И ОБРАБОТКИ ДАННЫХ
ВЫСОКОЙ РАЗМЕРНОСТИ.
3.1 Разработка структуры программного комплекса распределенного хранения и обработки данных
3.2 Применение векторной обработки данных для вычислений в больших диапазонах.
3.3 Оценка производительности и отказоустойчивости распределенных систем хранения и обработки данных, функционирующих на основе аппарата пороговых схем
Выводы по главе 3.
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ


Показано, что успешное развитие сетевой инфраструктуры, средств и методов сетевого взаимодействия, повышения производительности вычислительных систем в целом непосредственно связано с разработкой математических моделей и алгоритмов достоверного распределенного хранения и обработки данных, высокоскоростных методов доступа к ним. Во второй главе предложены математические модели распределенного хранения и обработки данных большой размерности, базирующиеся на аппарате пороговых схем и обладающие высокой степенью достоверности и отказоустойчивости. Для построения моделей системы используется аппарат модулярной арифметики, что позволяет добиться существенного повышения коэффициента ускорения и отказоустойчивости предложенных алгоритмов, открывает перспективы использования разработанных моделей в системах реального времени. Исследованы методы повышения быстродействия и достоверности систем распределенного хранения данных, основанных на аппарате пороговых схем (на примере схемы разделения секрета Шамира). Описаны основные понятия используемого математического аппарата — схемы разделения секрета и непозиционные коды, в частности, коды системы остаточных классов. Сформулированы ключевые преимущества и недостатки схем разделения секрета как моделей распределенного хранения данных. Проведен анализ факторов, влияющих на производительность распределенных систем обработки данных. Показано, что при обработке больших объемов данных высокой размерности велика вероятность частичной потери передаваемой информации. Обосновано введение регулируемой избыточности системы хранения, позволяющей осуществлять эффективное восстановление данных в случае выхода из строя одного и более узлов. Разработаны пути повышения быстродействия, точности и достоверности вычислений. Для повышения скорости вычислений при малых значениях к и характеристике конечного поля, не превосходящей 2* 8, используется метод вычисления обратной матрицы, основанный на рекурсивной блочной схеме умножения матриц в формате квагернарного дерева, для значений к > применяется алгоритм Штрассена, сокращающий трудоемкость до 0(п1°? В третьей главе исследованы факторы, влияющие на производительность векторной обработки данных большой размерности, проведено компьютерное моделирование разработанных алгоритмов повышения производительности и достоверности систем хранения и обработки данных высокой размерности на аппаратной базе векторных процессоров. Произведены обоснование и выбор основных технологий, используемых для реализации полученных моделей. Осуществлено непосредственное кодирование разработанных алгоритмов с учетом результатов, полученных на этапе анализа прототипа. Разработан программный комплекс распределенного хранения и обработки данных, базирующийся на пороговых схемах и модулярных кодах, обеспечивающий высокую степень достоверности и отказоустойчивости. Разработана библиотека функций для реализации действий с данными большой размерности на аппаратной базе нейропроцессора ЫМ. В заключении обобщены итоги и результаты проведенных исследований. В прилоэ/сениях представлены результаты работы комплекса, фрагменты исходного текста программы. АНАЛИТИЧЕСКИЙ ОБЗОР. В последние годы, на фоне бурного развития сетевых технологий с одной стороны, и резкого увеличения объемов обрабатываемых данных с другой, все большее значение приобретает разработка технологий высоконадежного хранения данных и удаленного высокоскоростного доступа к ним, средств и методов управления нагрузкой серверов и каналов связи. По данным исследования ГОС, совокупный объем существующей цифровой информации к концу года составил 1 экзабайт (1 млрд. По прогнозам экспертов Обсо к году среднемесячный объем глобального 1Р-трафика достигнет уровня экзабайт. Приводимые в документе СЛбсо УМ данные свидетельствуют о том, что в период с по год объем 1Р-трафика будет ежегодно увеличиваться на процентов, то есть практически удваиваться каждые два года. В результате спрос на полосу пропускания в мировых 1Р-сетях составит примерно 2 экзабайт, или более половины зетабайта [6, 7].