Разработка архитектуры и методов организации слабосвязанных архивных систем для автоматизации проектирования

• Автор: Лукьянов, Николай Михайлович
• Шифр специальности: 05.13.12
• Научная степень: Кандидатская
• Год защиты: 2011
• Место защиты: Санкт-Петербург
• Количество страниц: 85 с. : ил.

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ

Глава 1. СИСТЕМЫ АРХИВНОГО ХРАНЕНИЯ И ДОСТАВКИ ФАЙЛОВЫХ ДАННЫХ

1.1. Место систем архивного хранения в автоматизации проектирования

1.2. Классификация систем хранения данных.

1.3. Организация доставки данных и основные протоколы.

1.4. Проблемы архивных систем.

1.5. Слабосвязанные системы хранения данных.

1.5.1. Параллельные системы

1.5.2. Гибридпые системы.

1.5.3. СХД .

1.6. Организация доступа к системам хранения
1.7. Обеспечение доступности
1.8. Выводы.
Глава 2. РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ АРХИВНОГО ХРАНЕНИЯ ДАННЫХ.
2.1. Предпосылки и требования для разработки архитектуры
2.2. Структурнофункциональная организация системы хранения 2
2.2.1. Сервер управления доставкой.
2.2.2. Сервер метаданных.
2.2.3. Узел хранения.
2.2.4. Модуль статистики.
2.3. Репликация данных
2.4. Модель данных
2.5. Балансировка нагрузки на узлы
2.6. Восстановление данных
2.7. Соответствие теореме САР.
2.8. Выводы.
Глава 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ 2.
3.1. Базовое системное программное обеспечение.
3.2. Универсальный программный интерфейс.
3.3. Запросы чтениязаписи.
3.4. Организация эксперимента
3.5. Анализ результатов эксперимента и выводы
ЗАКЛЮЧЕНИЕ
СПИСОК ИСТОЧНИКОВ


В таких условиях системы архивного хранения и доставки проектных материалов для их возможного повторного использования и анализа приобретают особое значение. В целом в последние годы отмечается экспоненциальный рост объемов сохраняемых неструктурированных данных [2]. Нужно также отметить, что долгое время основное внимание уделялось хранению структурированных данных в базах. Архивные системы развивались исключительно в направлении организации хранения редко используемых данных, что и определяется самим термином - архивирования данных. Во многих сферах применения файловые системы хранения серьезного развития не получали, хотя использование файловых серверов является повсеместным. Отрасль в целом только начинает предлагать коммерческие системы такого типа и имеется очень много архитектурных вопросов, нуждающихся в обосновании [3]. Этим и определяется актуальность представляемой работы. Развитие систем хранения выявило два основных их класса: системы прямого серверного подключения в формате дисковых массивов различного уровня и системы на специальном аппаратно-программном обеспечении корпоративного применения [4]. В центре внимания ведущих мировых производителей систем хранения традиционно находятся средства, приспособленные для хранения транзакционных данных из таких сфер применения, как финансы, управление, связь. Основная масса решений представляет собой высокопроизводительные системы среднего и высокого класса, которые имеют высокоскоростные каналы связи с серверами и функционируют в масштабе локальной сети [5]. Такие системы называют ¦“жесткосвязанными”, имея ввиду связь систем хранения с серверами. Это не только высокопроизводительные, но и очень дорогостоящие системы. Их применение в сфере обеспечения проектных работ ограничено, так как основное их назначение - работа в центрах обработки данных (ЦОД). Другим типом систем хранения являются системы, работающие вне крупных ЦОД, часто распределенно, при ограниченной полосе пропускания каналов связи. Такие системы мы называем “слабосвязанными”. Важнейшим требованием к таким системам является экономическая доступность, которая может достигаться только при использовании доступных аппаратных компонентов и открытого программного обеспечения. Однако работа над этим типом систем идет менее интенсивно. Имеются лишь отдельные, мало исследованные и ограниченно документированные решения. Наряду с открытыми существуют и коммерческие проекты систем такого типа. В г. EMC Centera Virtual Archive 1. Это решение основано полностью на аппаратно-программном обеспечении ЕМС и предполагает шокирующие капитальные затраты и достаточно высокую удельную стоимость владения, что не позволяет использовать его на малых или средних предприятиях. Слабосвязанные системы исследованы гораздо меньше, а с учетом постоянного роста требований во всех сферах информационного обслуживании, в том числе и в автоматизации проектирования, необходимость развития и исследования архитектуры таких систем хранения становится актуальной. Исследованию данного класса систем хранения, разработке базовой архитектуры системы архивного хранения и доставки неструктурированных данных и ее программной реализации посвящена настоящая работа. Специфические особенности, конкретизирующие наш предмет, выражаются: в распределенности уровня выше локальной сети, ориентации на доступные и неоднородные аппаратные средства, узкие каналы связи, регулировании нагрузки при доставке данных и гибкое горизонтальное масштабирование. В совокупности реализация этих требований должна обеспечить приемлемые экономические параметры таких систем. Целыо работы является разработка архитектуры и программная реализация распределенной системы архивного хранения и доставки файловых данных при ограничениях на полосу пропускания каналов связи. Разработать архитектуру распределенной системы архивного хранения и доставки файловых данных, построенную на слабосвязанных гетерогенных узлах с узкими каналами связи. Предложить и обосновать разделение программной и аппаратной составляющих системы.