Комплексный подход к исследованию причин и признаков снижения эффективности суперкомпьютерных приложений и систем на основе данных системного мониторинга

• Автор: Никитенко, Дмитрий Александрович
• Шифр специальности: 05.13.11
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Москва
• Количество страниц: 141 с. : ил.

Оглавление
Введение
Глава 1. Существующие подходы к исследованию эффективности работы суперкомпьютерных приложений и суперкомпьютерных систем
1.1 Существующие подходы и инструменты для исследования эффективности работы параллельных приложений
1.2 Использование данных системного мониторинга
1.3 Использование данных от систем управления потоком задач
1.4 Выводы
Глава 2. Комплексный подход к анализу эффективности суперкомпьютерных приложений и систем
2.1 Очереди задач, разделы и счетное поле суперкомпьютеров
2.2 Три уровня исследования эффективности работы суперкомпьютерной системы
2.3 Системный мониторинг как основа реализация комплексного подхода к исследованию эффективности работы суперкомпьютерных приложений и систем
2.4 Выводы
Глава 3. Причины и признаки снижения эффективности суперкомпьютерных приложений и систем
3.1 Набор ключевых динамических характеристик суперкомпьютерных приложений
3.2 Формат описания динамических характеристик
суперкомпьютерных приложений
3.3 Диапазон изменения динамических характеристик бсуперкомпьютерных приложений
3.4 Причины снижения эффективности работы суперкомпьютерных приложений и систем
3.5 Выявление признаков неэффективного поведения
суперкомпьютерных приложений
3.6 Согласованный анализ причин и признаков снижения эффективности суперкомпьютерных приложений
3.7 Взаимосвязь динамических характеристик суперкомпьютерных приложений

3.8 Интегральные характеристики выполнения суперкомпьютерных приложений и использования ресурсов системы
3.8 Выводы
Глава 4. Методы комплексного анализа эффективности
суперкомпьютерных приложений и систем и их апробация
4.1 Особенности целевых программно-аппаратных суперкомпьютерных сред
4.2 Методы анализа динамики выполнения отдельного суперкомпьютерного приложения
4.3 Примеры анализа задач из реального потока
4.4 Методы анализа качества использования разделов суперкомпьютеров
4.5 Примеры анализа соответствия приложений свойствам разделов суперкомпьютеров
4.6 Методы анализа использования ресурсов по системе в целом
4.7 Примеры анализа использования ресурсов по системе в целом
4.8 Выводы
Заключение
Список литературы

Введение
Продолжающееся стремительное развитие суперкомпыотерных систем сопровождается рядом важных особенностей. Многие из них могут быть определены путем анализа данных рейтингов высокопроизводительных вычислительных систем. Наиболее известным из таких списков является Тор500, в котором представлены данные по пяти сотням наиболее мощных вычислительных систем мира. Прежде всего, выделяется устойчивый рост производительности систем - имеет место увеличение производительности на три порядка каждые десять лет. Отчетливо прослеживается и стремительный рост числа вычислительных ядер - современные вычислительные системы высшего уровня производительности насчитывают сотни тысяч, даже миллионы вычислительных ядер. Говоря о грядущей эре экзафлопсных вычислений, большинство специалистов сходится во мнении, что число вычислительных ядер увеличится не на один порядок. Столь значительные масштабы, с одной стороны, потенциально позволяют раскрыть колоссальный потенциал параллелизма, но, с другой стороны, обостряют проблемы, связанные с эффективностью использования вычислительных ресурсов. В классическом понимании эффективность - отношение достигнутой производительности к теоретически возможной.
В ходе выполнения каждой задачи на суперкомпьютерной системе в условиях одновременной работы множества пользователей и приложений может быть выделен целый набор факторов, которые могут повлиять на итоговую эффективность работы приложения. Свой вклад, в частности, вносят особенности программно-аппаратного комплекса, на котором ведется работа, распределение задачи по узлам вычислительной системы, использование опций компиляции, задействованные технологии параллельного программирования и способы их применения, особенности языка и манеры написания кода программы, особенности используемых
Г ( ,

основе тех же данных системного мониторинга, которые могут быть использованы для исследования эффективности выполнения отдельных суперкомпьютерных приложений.
Отсюда возникает идея комплексного анализа эффективности суперкомпьютерных приложений и систем. На основании данных системного мониторинга предлагается исследовать:
• эффективность выполнения отдельного приложения;
• соответствие приложений свойствам раздела суперкомпьютера, в который они была помещены;
• использование ресурсов системы в целом.
Таким образом, обеспечивается комплексное исследование эффективности, начиная с уровня эффективности работы отдельного приложения, до уровня использования ресурсов в рамках как отдельного раздела, так и всего счетного поля. С точки же зрения масштабов задач - от отдельного узла до всей системы в целом. Рассмотрим это более подробно.
2.1 Очереди задач, разделы и счетное поле суперкомпьютеров
Абсолютное большинство современных суперкомпьютерных систем относится к системам кластерного типа. Так, в рейтинге топ50 наиболее производительных систем России и СНГ [46] последнее присутствие SMP системы зафиксировано в пятой редакции от сентября 2006г. С того момента все системы представляют собой классические кластеры и массивнопараллельные системы. И те, и другие в последнее время все чаще предстают в виде гетерогенных систем, все или часть вычислительных узлов которых оснащена вычислительными ускорителями. Объединяет эти два типа систем то, что в основе архитектуры системы находятся вычислительные узлы, объединенные коммуникационной средой.
Каждый вычислительный узел может содержать несколько