Формальные методы оценки эффективности систем автоматической обработки текста

• Автор: Максименко, Ольга Ивановна
• Шифр специальности: 10.02.21
• Научная степень: Докторская
• Год защиты: 2003
• Место защиты: Москва
• Количество страниц: 447 с. : ил.

ГЛАВА 1. ФОРМАЛЬНЫЕ МЕТОДЫ В СОВРЕМЕННОЙ ЛИНГВИСТИКЕ

1.1. Формальные методы в современной науке

1.2. Компьютерная лингвистика

1.3. Анализ электронных текстов

1.4. Искусственные языки

1.5. Автоматическое понимание текста

1.6. Современные зарубежные методы АОТ

1.7. Корпусная лингвистика

1.8. Формальная семантика

1.9. Семантические сети

1.9.1. Применение семантических сетей

1.9.2. Семантическая нейронная сеть
1.10. Дистрибутивно-статистический анализ лексики
1.10.1. Эксперимент для оценки алгоритма ДСА
1.11. Нечеткая логика
1.12. Решение задач с применением нечеткой логики
1.12.1. Элементы теории нечетких множеств
1.12.2. Нечеткие выводы
1.12.3. Эффективность нечетких экспертных систем
1.13. Пакеты нечеткой логики
1.13.1. Пакет Fuzzy Logic Toolbox
1. 14. Выводы к Главе 1
ГЛАВА 2. МЕТОДЫ ОЦЕНКИ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ
2.1. Экспертные оценки
2.2. Математические модели поведения экспертов и анализа экспертных оценок
2.3. Экспертные оценки в различных областях человеческой деятельности
2.3.1. Нечеткие выводы в задачах управления и диагностики
2.3.2. Оценка знаний в педагогике
2.3.3. Оценка информационного обеспечения
2.3.4. Оценка информационных технологий и эффективности инвестиций
2.4. Оценка лингвистических систем
2.4.1. Оценка систем машинного перевода
2.4.2. Оценка информационно-поисковых систем

2.4.3. Оценка качества интеллектуальных информационных систем (ИИС)
2.5. Оценка ИС с помощью нечетких экспертных систем
2.6. Нечеткая экспертная система для оценки ДСА
2.7. Выводы к Главе 2
ГЛАВА 3. ФОРМАЛЬНЫЕ РЕШЕНИЯ В СИСТЕМАХ МАШИННОГО ПЕРЕВОДА
3.1. Современное состояние машинного перевода
3.2. Проблемы машинного перевода
3.3. Электронные словари и машинный перевод
3.3.1. Свойства компьютерных словарей
3.3.2. Типология электронных словарей
3.4. Некоторые современные российские системы МП
3.4.1. Технология компаний ПРОМТ и АРСЕНАЛЪ
3.4.2. Лексические функции и машинный перевод
3.4.3. Перевод восточных языков
3.4.4. Системы фразеологического машинного перевода
3.5. Система машинного перевода АСПЕРА
3.6. Методы оценки систем машинного перевода
3.7. Типологии ошибок
3.8. Оценка СМП с помощью нечетких экспертных систем
3.9. Выводы к Главе 3
ГЛАВА 4. ФОРМАЛЬНЫЕ РЕШЕНИЯ В ИНФОРМАЦИОННОПОИСКОВЫХ СИСТЕМАХ
4.1. Информация и знание
4.1.1 Автоматизированное извлечение знаний
4.1.2. Содержательный поиск в текстах
4.1.3. Оперативный анализ текстов
4.2. Автоматизированные информационно-поисковые системы
4.2.1. Методы автоматизированного индексирования, рубрицирования и аннотирования
4.2.2. Модели поиска и эффективность поиска информации
4.2.3. Поиск в сети Интернет
4.2.4. Информационно-поисковый гипертекст
4.3. Информационно-поисковая система КАСКАД
4.4.0ценка качества ИПС нечеткими экспертными системами
4.5. Выводы к Главе 4
5. Заключение
6. Список литературы
7. Приложения

* Круг проблем, связанных с необходимостью изучения внутренней
структуры языка и применения результатов таких исследований на практике, к настоящему времени стал чрезвычайно широк. Вызвано это в первую очередь тем, что за последнее десятилетие существенно возросло количество и произошли качественные изменения систем автоматической обработки текста, опирающихся на глубинные структуры языка и оперирующих сложными плохо формализуемыми элементами. Подобные системы требуют серьезной экспертной оценки.
Современные экспертные оценки опираются на сложный математический аппарат, в основе которого, по большей части, лежат методы математической статистики и теории вероятностей. Такой тип экспертных оценок далеко не всегда подходит для систем автоматической обработки текста на естественном языке, который принадлежит числу плохо формализуемых систем. На первый взгляд, если преследовать сугубо конкретную цель, как, например, создание новой системы оценки и проведение собственно процесса оценки, то невозможно говорить о влиянии полученных результатов (как практических, так и теоретических) на формирование каких-либо общих теорий, имеющих ценность для языкознания в целом. Тем не менее, в прикладном языкознании действует тот же закон, что и в других науках - закон взаимного влияния сугубо прикладных исследований на теоретические и наоборот. Это подтверждается созданием прикладных моделей в разных областях лингвистики.
За последнее десятилетие XX века рост быстродействия компьютеров, объемов их оперативной и внешней памяти, пропускной способности внешних устройств и каналов связи качественно изменил

Онтология или тезаурус, как место хранения межъязыковой информации, всегда привлекали разработчиков МП. Основным достоинством онтологического подхода в противовес бинарному (трансферному) переводу считается возможность более глубокого анализа текста и подключения к системе перевода новых языков без изменения онтологии. Несмотря на это очевидное достоинство, специалисты усматривают в онтологическом подходе следующие недостатки:
1. Избыточность. Часто считается, что разрешить семантическую неоднозначность можно, используя несемантические методы;
2. Зависимость от конкретного языка. Многие полагают, что онтологии слишком сильно зависят от языковой компетенции составителя языка;
3. Ненаучность. Отсутствие точных методик составления онтологий делает невозможным их воссоздание;
4. Инженерная сложность. Время на разработку онтологий зависит от размера онтологии экспоненциально.
Эти аргументы, направленные против онтологического подхода, опровергаются в статье С. Ниренбурга [№гепЬи^ Щ аі 1994].
1. Онтология не избыточна, поскольку ни одна система МП трансферного типа не может полноценно справиться с задачами восстановления кореферентных связей и метафорического переноса, без которых невозможно сделать необходимое приближение к компьютерной модели естественного языка.
2. Зависимость от конкретных языков - безусловно обязательное свойство онтологий, но чем больше языков описано на этой онтологии, тем более она становится независимой. Важно, что онтологии являются неким медленно растущим образованием - общим знаменателем всех языков.
3. "Обвинение" в ненаучности не лишено основания, хотя этот же недостаток можно обнаружить в любой семантической теории. По мнению