Построение пространств свойств на основе вероятностных моделей для задач предсказания структур

• Автор: Титов, Иван Андреевич
• Шифр специальности: 05.13.18
• Научная степень: Кандидатская
• Год защиты: 2006
• Место защиты: Санкт-Петербург
• Количество страниц: 126 с. : ил.

СОДЕРЖАНИЕ
Введение

Глава 1. Задачи предсказания структур проблемы и подходы к их

решению

Глава 2. Методы построения отображений на основе вероятностных моделей

2.1. Постановка задачи.

2.2. Ядро Фишера для предсказания структур.

2.3. Ядро ТОР для перестановки гипотез

2.4. Применение отображений.

2.5. Эксперименты.

2.5.1. Вероятностная модель.

2.5.2. Построение отображения.
2.5.3. Обучающий алгоритм.
2.5.4. Методы оценки точности в синтаксическом анализе
2.5.5. Постановка эксперимента и экспериментальные результаты
2.6. Выводы.
Глава 3. Использование вероятностных моделей для оптимизации
ожидаемой ошибки с произвольными функциями потерь
3.1. Постановка задачи
3.2. Аппроксимация ожидаемой потери с помощью вероятностной модели.
3.3. Аппроксимация ожидаемой потери с помощью дискриминативных моделей.
3.3.1. Аппроксимация с ядром Фишера для предсказания структур
3.3.2. Аппроксимация с ядром ТИС.
3.3.3. Аппроксимация на основе произвольной дискриминативной
модели
3.4. Использование отображений, нацеленных на минимизацию
ожидаемой ошибки.
3.4.1 Ядро потерь
3.4.2 Ядро логит потерь
3.5. Эксперименты
3.5.1. Вероятностная модель и построение отображения.
3.5.2. Эксперименты с использованием БУМ.
3.5.2. Эксперименты с псрцептроном с голосованием и отображением
р 3.5.3. Эксперименты с перцептроном с голосованием и ядром
свертки для деревьев
3.6. Выводы
Глава 4. Адаптация статистических методов с использованием
отображений, основанных на вероятностных моделях.
4.1. Постановка задачи и обзор предлагаемых методов
4.2. Возможности по репараметризации отображений.
4.3. Перемещение в новую область
4.4. Фокусировка на области
4.5. Эксперименты
щ 4.5.1. Используемые наборы данных и методы
4.5.2. Эксперименты для подхода перемещение
4.5.3. Эксперименты для подхода фокусировка
4.5.4. Эксперименты распределение слов против распределения
структур .
4.5.5. Обсуждение результатов.
4.6. Предшествующие исследования в области адаптации.
4.7. Выводы.
Глава 5. Методы объединения вероятностных моделей с
линейными моделями, использующими произвольные
пространства свойств.
6.1. Постановка задачи.
р 6.2. Построение отображения
6.3. Оценка обобщающей способности.
6.4. Выводы
Глава 6. Решение проблем с большим, но ограниченным числом
выходных категорий.
6.1. Постановка задачи.
6.2. Критерий оптимизации
6.3. Оценка обобщающей способности.
6.4. Эксперименты
6.5. Выводы
Заключение
Список литературы


Объединение вероятностных моделей и статистических методов, максимизирующих зазор, может лечь в основу построения новых подходов к решению этой проблемы. Существует и другая актуальная проблема методов предсказания структур. Это необходимость применения статистических моделей к данным с распределением, отличным от распределения данных в исходном наборе. Совместное использование вероятностных моделей и статистических методов, максимизирующих зазор, позволяет предложить новое решения и для этой проблемы. Цель работы состояла в разработке нового подхода к решению задач предсказания структур, который позволил бы применять современные методы машинного обучения к произвольным задачам предсказания структур. Разработать новые методики учета функции потерь для статистических моделей предсказания структур, направленные на улучшения точности модели. Создать методики адаптации статистических моделей предсказания к изменению распределения входных и выходных данных. Предложить новые способы объединения вероятностных моделей и методов, использующих заданные в явном виде пространства свойств. Провести теоретический анализ предложенных методов и методик и исследовать их свойства на практике. Продемонстрировать на практике преимущества предлагаемых подходов перед альтернативными методами. На основе проведенного системного анализа современных методов машинного обучения предложено новое направление решения задач предсказания структур. Разработаны новые методы построения отображений в пространства свойств на основе вероятностных моделей для задач предсказания структур, проведен аналитический и эмпирический анализ методов. Исследованы методики эффективного вычисления таких отображений для моделей на основе многоуровневого перцептрона. Предложены новые методики учета функции потерь в статистических моделях предсказания структур, позволяющие значительно улучшить результаты для широкого класса моделей. Предложены новые методики к адаптации статистических моделей предсказания структур при изменении распределения входных и выходных данных, обеспечивающие значительное повышение точности предсказания. Построен новый способ объединения вероятностных моделей и методов, использующих произвольные пространства свойств. Получен новый критерий обучения стандартного метода БУМ (машины поддерживающих векторов) для случая несимметричной задачи классификации, проведена теоретическая оценка обобщающей способности методов, использующих такой критерий, и проведен экспериментальный анализ. Разработанные методы могут применяться для улучшения результатов широкого спектра методов предсказания структур, как при использовании функции потерь точного совпадения, так и в случае более сложных, но более мотивированных функций потерь. Предлагаемая методика адаптации позволяет производить адаптацию обученной модели не только к областям, отличающимся вероятностным распределением структур (например, синтаксический анализатор обучается на корпусе финансовых новостей WSJ, а затем применяется к корпусу биологических статей), но и к областям с отличающимися схемами аннотации. Программная реализация описанных в диссертации методов для задачи синтаксического анализа доступна для любых исследований в области обработки естественного языка. Разработанные методы построения пространств свойств на основе вероятностных моделей для задачи предсказания структур позволяют добиться повышения точности предсказания по сравнению с использованием исходной вероятностной модели. Предложенные новые методики аппроксимации ожидаемой ошибки на основе вероятностных моделей обеспечивают значительное улучшение результатов по сравнению с исходной вероятностной моделью. Построенные функции отображения могут использоваться для адаптации моделей к распределению данных, отличных от исходного распределения в обучающем наборе. Разработанная методика построения отображений на основе вероятностных моделей позволяет предложить новый способ объединения вероятностных моделей для предсказания структур и линейных методов, использующих произвольные пространства свойств.