Исследование методов реализации алгоритмов обработки больших потоков данных за счет конвейерного распараллеливания

• Автор: Лысаков, Константин Федорович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2009
• Место защиты: Новосибирск
• Количество страниц: 110 с. : ил.

ВВЕДЕНИЕ.
ГЛАВА 1. ОСОБЕННОСТИ РЕАЛИЗАЦИИ ЗАДАЧ ПОТОКОВОЙ ОБРАБОТКИ ДАННЫХ НА РАЗЛИЧНЫХ ТИПАХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

1.1. Обзор и классификация процессорных устройств

1.1.1. Заказные специализированные микросхемы

1.1.2. Процессоры общего назначения

1.1.3. Сигнальные процессоры.

1.1.4. Программируемые логические интегральные схемы.

1.2. Обзор современных вычислительных систем.

1.2.1. Персональные компьютеры на базе универсальных процессоров

1.2.2. Кластерные архитектуры на базе универсальных процессоров

1.2.3. Графические ускорители

1.2.4. Аппаратные решения на базе сигнальных процессоров.
1.2.5. Аппаратные решения на базе ГРСА.
1.2.6. Выводы
1.3. Особенности использования БРвА в качестве процессорного
устройства.
1.3.1. Вычислительный комплекс.
1.3.2. Программирование комплекса
1.3.3. Мод ел ирован ие и отладка
ГЛАВА 2. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ НА ЯЗЫКЕ УНВЬ ЗАДАЧИ ОБРАБОТКИ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ
2.1. Описание алгоритмов поиска малоразмерных объектов.
2.1.1. Внутрикадровая обработка
2.1.2. Межкадровая обработка.
2.2. Реализация задачи поиска малоразмерных объектов.
2.2.1. Конвейер ВКО
2.2.2. Конвейер целочисленной привязки кадров
2.2.3. Конвейер субпиксельной привязки фрагментов
2.2.4. Реализация межкадровой обработки
2.2.5. ВК и целочисленная привязка кадров
2.2.6. Реализация задачи поиска малоразмерных объектов.
2.3. Реализация алгоритма двумерной свертки
2.4. Поиск объектов на изображении.
2.5. Выводы
ГЛАВА 3. ПРОГРАММНОАППАРАТНАЯ АРХИТЕКТУРА ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСОВ НА БАЗЕ БРСА ДЛЯ ПОТОКОВОЙ ОБРАБОТКИ ДАННЫХ
3.1. Исследование пропускных способностей шин в ПК
3.1.1. Описание исследования пропускных способностей шин данных.
3.1.2. Исследование шины РС1Х
3.1.3. Исследование шины РС1Е х1.
3.1.4. Исследование шины РС1Е х4.
3.1.5. Выводы.
3.2. Производительность дш 1Амической памяти
3.3. Принципы схемотехнического проектирования
3.4. Структурное решение программных модулей
3.5. Общение с памятью ПК.
3.6. Особенности использования динамической памяти
3.7. Выводы.
ГЛАВА 4.СЕМЕЙСТВО ПРОГРАММНОАППАРАТНЫХ КОМПЛЕКСОВ БЬвР .
4.1. ЗиЛМ.
4.2. ЗЬ8Р2.
4.3. НБО
4.4. Применение комплексов ЗЬБР.
4.5. Выводы.
ГЛАВА 5.ПРИМЕНЕНИЕ ПРОГРАММНОАППАРАТНОГО КОМПЛЕКСА НОС
5.1. ОБРАБОТКА ВИДЕОПОТОКОВ ФОРМАТА Н01
5.2. Исследование генома
5.2.1. Реал изация на РРОА.
5.2.2. Выводы
ЗАКЛЮЧЕНИЕ.
СПИСОК ЛИТЕРАТУРЫ


Целью работы являются исследование особенностей применения РРвА в задачах потоковой обработки данных для повышения производительности за счет конвейерного распараллеливания и создание программноаппаратного комплекса на базе РРвА, обеспечивающего реализацию алгоритмов обработки потоков данных до Гбит/с. Исследовать особенности реализации задач потоковой обработки данных на примере фильтрации изображений и поиска объектов с использованием метода наименьших квадратов. Разработать метод реализации задачи обработки последовательностей изображений, включающей фильтрацию, компенсацию целочисленного сдвига, компенсацию фона, выявление экстремумов и пороговую обработку; путем моделирования на ПК оценить эффективность предлагаемого метода реализации. Разработать программно-аппаратную архитектуру вычислительных комплексов на базе РРвА для решения задач высокопроизводительной обработки больших потоков данных. Создать макет программно-аппаратного комплекса для решения практических задач с потоками данных порядка Гбит/с. На базе созданного программно-аппаратного комплекса исследовать эффективность реализации задач обработки потока видеоданных 6 Гбит/с и поиска мотивов в нуклеотидных последовательностях генома. FPGA для обработки потоков данных порядка Гбит/с, позволяющая оперировать данными со скоростью их поступления за счет оптимизации операций с памятью, организации программных модулей и создания специального программного обеспечения. ООО раз по сравнению с использованием стандартного ПК. HDL - Hardware Description Language), для их тестирования и выявления факторов, ограничивающих производительность. Гбит/с, что в раз превышает возможности существующего решения на сигнальном процессоре ADSP0. Создан программно-аппаратный комплекс для одновременной обработки семи видеопотоков формата НО (1,5 Гбит/с), что в сумме составляет около Гбит/с. Программно-аппаратная архитектура устройств на базе РРСА, основанная на разделении функциональных программных модулей, позволяет обрабатывать в режиме поступления потоки данных порядка Гбит/с и реализовывать алгоритмы перебора с производительностью до 3* целочисленных операций в секунду, обеспечивая решение задач в различных областях: от обработки потоковых видеоданных до задач биоинформатики. Реализация на базе їїРвА задачи обработки последовательностей изображений, включающей фильтрацию, компенсацию целочисленного сдвига, компенсацию фона, выявление экстремумов и пороговую обработку, сокращает время выполнения до раз по сравнению с реализацией на базе сигнального процессора за счет организации вычислительных конвейеров и распараллеливания их исполнения. Алгоритм поиска транскрипционных факторов в регуляторных выборках, основанный на применении таблиц истинности в программируемой логике и использовании встроенной памяти, поззоляет достичь производительность 1,* операций сравнения в секунду, что недостижимо для вычислительных систем на основе универсальных процессоров или графических ускорителей. Программно-аппаратный комплекс на базе БРвА за счет создания специального программного обеспечения дает возможность обрабатывать потоки данных порядка Гбит/с на стандартном ПК. Выносимые на защиту результаты получены соискателем лично. Постановка задач и выбор конкретного метода решения осуществлялись коллективом исполнителей при непосредственном участии соискателя. ФГУП «ЦНИИ «Комета», г. Москва. FPGA для обработки четырех видеопотоков HD-SDI, используемого в составе виртуальной студии «Фокус» производства ЗАО «СофтЛаб-НСК». International Conference on Pattern Recognition and Image Analysis: New Information technologies (PRIA). St. Petersburg, ; Yoshkar-Ola, . IASTED International Multi-Conference AUTOMATION, CONTROL, AND APPLICATIONS (ACIT-ACA). Novosibirsk, . Всероссийская конференция по математическому моделированию и информационным технологиям. Кемерово . Конференция «Информационно-вычислительные системы анализа и синтеза изображений». Новосибирск, . IEEE International Siberian Conference On CONTROL AND COMMUNICATIONS SIBCON-. Tomsk, . Международная научно-техническая конференция и выставка ЦИФРОВАЯ ОБРАБОТКА СИГНАЛОВ И ЕЕ ПРИМЕНЕНИЕ - DSPA. Москва , .