Анализ и моделирование структуры растровых изображений рукописных математических формул с целью их автоматического распознавания

• Автор: Сапаров, Алексей Юрьевич
• Шифр специальности: 05.13.01
• Научная степень: Кандидатская
• Год защиты: 2014
• Место защиты: Ижевск
• Количество страниц: 168 с. : ил.

Оглавление
Введение
1 Обзор методов и систем автоматического распознавания текстов
1.1 Обзор методов
1.1.1 Статический метод
1.1.2 Динамический метод
1.2 Подходы к распознаванию различных видов текстов
1.2.1 Распознавание сплошного текста
1.2.2 Распознавание текста, содержащего структурированные
элементы (таблицы, диаграммы, рисунки)
1.2.3 Распознавание математических формул
1.3 Методы, применяемые при различных способах ввода текста .
1.3.1 Распознавание печатного текста
1.3.2 Распознавание последовательности записи
1.3.3 Распознавание сканированного рукописного текста
1.4 Обзор систем распознавания текстов
1.4.1 ABBYY FineReader
1.4.2 Math input panel
1.4.3 InftyReader
1.4.4 GOCR
1.5 Выводы по главе
2 Задача распознавания математических текстов
2.1 Описание задачи
2.2 Описание метода распознавания математических текстов
2.2.1 Скелетизация изображения
2.2.2 Вертикальное и горизонтальное проектирование
2.2.3 Разбор структуры символа
2.2.4 Построение и анализ дерева строки
2.2.5 Уточнение с помощью регулярных выражений
2.2.6 Построение математических выражений
2.3 Описание метода адаптации (обучения)

2.3.1 Адаптация к конкретному тексту
2.3.2 Использование предыдущих результатов распознавания
2.3.3 Адаптация к пользователю
2.4 Описание форматов представления математических формул . .
2.4.1 Формат Т^Х
2.4.2 Формат MathML
2.5 Методы распознавания «смешанных» текстов
2.5.1 Рукописные формулы в рукописном тексте
2.5.2 Рукописные формулы в печатном тексте
2.6 Выводы по главе
3 Описание алгоритма
3.1 Описание алгоритма распознавания математических текстов . .
3.2 Описание алгоритма обучения
3.3 Выводы по главе
4 Экспериментальные исследования разработанного алгоритма
4.1 Эксперименты на различных типах формул
4.2 Эксперименты на текстах с подобными формулами
4.3 Эксперименты с разными почерками
4.4 Сравнительный анализ с существующими системами
4.5 Выводы по главе
Заключение
Литература

Введение
В настоящее время существует множество текстовых документов в бумажном виде, содержащих вписанные от руки математические формулы. Это в основном тексты, напечатанные ранее на пишущих машинках, либо на компьютерах до появления программ набора математических формул. Это связано с тем, что компьютеры появились сравнительно недавно, а история науки, так или иначе связанной с математикой, включает уже много веков. С развитием информационных технологий рано или поздно требуется перевод документов в электронный формат.
Уже существуют системы, которые с достаточно высокой точностью распознают обычные печатные тексты со сканированных изображений. Систем, распознающих сканированные математические формулы, пока не существует. Для перевода таких текстов в электронный формат требуется использовать ручной способ ввода формул. Если текст содержит много формул, то эта работа является достаточно трудоемкой. Учитывая то, что большинству пользователей с трудом удается вводить даже самые простые формулы, то для этой работы нужны специально подготовленные люди.
С постепенной автоматизацией многих процессов в различных сферах, более приоритетным является обучение компьютера распознаванию формул, а не подготовка специально обученных людей. Ввод формул в компьютер является достаточно сложной задачей, поэтому в качестве основной цели рассматривается не только возможность автоматического распознавания сканированных рукописных формул, но и облегчение процесса ручного ввода формул.
Таким образом, задача распознавания текстов с математическими формулами в настоящее время является актуальной.
Под задачей распознавания текстов подразумевается задача автоматического определения классов всех объектов, содержащихся в исходном изображении по конечному набору свойств и признаков этих объектов [1], [2], [3]. Основная сложность автоматического распознавания формул состоит в сложности их иерархической структуры и их большом разнообразии. Для анализа сложной структуры предлагается использование ориентированных графов, на основе которых будет построена модель изображения формулы. Так как все люди имеют уникальный почерк, то каждый символ имеет множество вариантов

• структурный анализ математических выражений — анализ математических формул и представление их в некотором внутреннем формате для отображения и экспорта
• ручная корректировка — исправление полученных результатов
С точки зрения практического использования качество распознавания на данный момент оставляет желать лучшего. Хотя и программа способна распознавать большинство наиболее часто используемых математических конструкций, таких как арифметические операции, интегралы, дроби, корни, выражения с нижними и верхними индексами, но для практического использования не всегда пригодна. InftyReader распознает только изображения с очень высоким качеством, которое не достигается ни при одном способе сканирования документов с бумажных носителей. Таки образом, минимальная неточность в исходном изображении приводит к возникновению ошибочной ситуации. Приемлемые результаты достигаются при создании изображений при помощи скриншота, после набора формулы при помощи традиционных механизмов ввода формул, например, math equation, что в свою очередь не имеет никакого смысла на практике. Другими словами, программа может распознавать только изображения с «идеальным» качеством, а с изображениями даже с небольшим уменьшением качества, например с pdf-документами, возникают большие проблемы.
Возможно, проблема кроется в наличии не очень богатой базы эталонов классификации, так как при малейшем изменении исходного изображения символы распознаются неправильно. Но обращая внимание на то, что работа над проектом уже ведется довольно долго, можно прийти к выводу, что проблемы системы заключаются не только в этом, а также главным образом в несовершенстве используемых алгоритмов. Еще к одним недостаткам можно отнести то, что на данный момент InftyReader поддерживает только английский и японский языки. Исключив текущие недостатки системы, InftyReader в настоящее время могла стать очень популярной в сфере решения задач распознавания печатных математических текстов и могла использоваться как в научной деятельности, так и в других отраслях современности.
К недостаткам отнесем невозможность обучения системы распознаванию неизвестных символов. Таким образом, разнообразие распознаваемых симво-