Исследование устойчивости нейронных сетей прямого распространения при построении регрессионных моделей биологических объектов

• Автор: Крепец, Владимир Валентинович
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2001
• Место защиты: Москва
• Количество страниц: 125 с. : ил

Актуальность темы. Научная новизна. Апробация работы. Обзор литературы. Глава 1. Скользящий контроль v . Методы построения линейных моделей. Устойчивые оценки. Изменение метрики для совершенствования моделей. Теорема 1. Теорема 2. Обучение одноэлементных нейронных сетей. Теорема 3. Нейронные сети с одним скрытым слоем. Теорема А. Н. Колмогоров. Теорема Стоуна Вейерштрасса. Теорема 4. Теорема 5. Теорема . Теорема 6. Теорема 7. Теорема 8. Описание программного продукта. Команды меню. Глава 2. Искусственная выборка. Постановка задачи и описание выборки. Решение задачи различными методами. Анализ качества построенных моделей и выводы. Постановка задачи и описание выборки. Решение задачи различными методами. Анализ качества построенных моделей и выводы. Постановка задачи и описание выборки. Решение задачи различными методами. Анализ качества построенных моделей и выводы. Применение нейронных сетей в офтальмолог ии. Постановка задачи и описание выборки. Решение задачи различными методами. России.


Если в процессе функционирования нейронной сети сигнал может неоднократно попадать в одну и ту же точку сети, то такие нейронные сети называются нейронными сетями с обратными связями. Отдельный класс нейронных сетей с обратными связями представляет класс полносвязных нейронных сетей. В полносвязной нейронной сети каждый нейрон передает свой выходной сигнал всем нейронам, в том числе и самому себе. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети. Все входные сиг налы подаются всем нейронам. Особо выделяется класс слоистых нейронных сетей таких нейронных сетей, у которых вес множество нейронов можно разбить на подмножества и пронумеровать эти подмножества таким образом, что связи будут существовать только от нейронов, принадлежащих подмножеству с меньшим номером к нейронам, принадлежащим подмножеству с большим номером. Такие нейронные сети относя гея к классу нейронных сетей без обратных связей. В настоящей работе рассмотрен класс слоистых нейронных сетей состоящих из трех слоев, называемых нейронными сетями прямого распространения с одним скрытым слоем i i . Общий вид таких нейронных сетей можно найти в разделе Нейронные сети с одним скрытым слоем, а формальным математическим определением таких нейронных сетей являются определения . Первый слой составляют нейроны, но которым в нейронную сеть поступает вводимая информация. Эти нейроны имеют ровно один вход и один выход и могут использоваться для преобразования компонент входного векгора к нормализованному виду см. Одноэлементные нейронные сети, подраздел Обучение одноэлементных нейронных сетей, параграф Настройка коэффициентов. Информация с выходов этих нейронов попадает па нейроны второю слоя. Второй слой скрытый. На него поступает информация с нейронов входною слоя, а передают они информацию нейронам выходного слоя. Третий слой составляют нейроны, которые получают информацию от нейронов скрытого слоя и с которых снимается обработанный сигнал. Выполнено сравнение различных методов построения моделей, используемых как ятя классификации множеств объектов, так и для интерполяции промежуточных значений на основании векторов наблюдений. Показано. Впервые построены модели в пространствах не с квадратичной евклидовой метрикой, а в пространствах с метриками и 1ц и . Разработана процедура взвешивания наблюдений и признаков. Показано, что назначение весов наблюдениям по предлагаемому алгоритму приводит к уменьшению максимального различия между наблюдаемыми и рассчитанными значениями. Строго доказывается, что стандартные многослойные нейронные сет и без обратных связей, по крайней мере, с одним скрытым слоем, использующие произвольную непрерывную функцию активации нейронов, способны аппроксимировать произвольную непрерывную функцию с любой желаемой степенью точности, при условии, что в скрытом слое находится достаточно много нейронов. Такие многослойные нейронные сети без обратных связей составляют класс универсальных аппроксиматоров. Впервые рассмотрены устойчивые оценки регрессионных коэффициентов, применительно к нелинейным регрессиям и нейронным сетям. Рассмотрены робастные нейронные сети. Получены теоретические значения эффективности и устойчивости некоторых опенок регрессионных коэффициентов для нелинейных регрессий и нейронных сетей. Показано, что эти опенки могут успешно применяться при построении моделей, основным свойством которых является устойчивое обобщение знаний. С помошыо численных экспериментов показано, что при создании нейронных сетей следует строить нейронную сеть, содержащую минимальное количество связей и удовлетворительно решающую поставленную задачу. При увеличении количества нейронов в создаваемой нейронной сети, она теряет способность к обобщению накапливаемых знаний и увеличивает способность к запоминанию отдельных образов, предъявляемых в процессе обучения. Иными словами, при увеличении размеров нейронной сети, происходит увеличение емкости памяти нейронной сети. Это свойство можно использовать при создании моделей ассоциативной памяти Норi. Веденов, 1 Кохонен 1,2.