Автоматизированная обработка естественного языка

Автоматизированная обработка естественного языка Natural Language Processing

NLP: истоки возникло в конце 60-х гг. развивалось в рамках дисциплины «искусственный интеллект». АОЕЯ — разработка методов, технологий и конкретных систем, обеспечивающих общение человека с ЭВМ на естественном или ограниченном естественном языке.

Проблема организации взаимодействия с компьютерными Решение этой проблемы коммуникации шло по двум основным путям. 1 - адаптация языков программирования и операционных систем к конечному пользователю. 2 - разработка систем взаимодействия с ЭВМ на естественном языке или каком-то его ограниченном варианте.

NLP и ЛИНГВИСТИКА Фонология (звуки речи) Морфология (структура и форма слов ЕЯ) Синтаксис (структура и функции предложений) Семантика (смысл языковых высказываний) Прагматика (значение высказываний) Социолингвистика Психолингвистика Лексикография (описание лексикона ЕЯ) Прикладная лингвистика

NLP: МАТЕМАТИКА и ИНФОРМАТИКА Математическая лингвистика Квантитативная лингвистика (изучение языка/речи количественными методами) Теория формальных языков и грамматик – возникла из порождающих грамматик Н. Хомского (50-е гг. ), для анализа синтаксических структур ЕЯ Теория алгоритмов Информатика ( Computer Science )

NLP и ИСКУССТВЕННЫЙ ИНТЕЛЕКТ Междисциплинарный характер области ИИ: составная часть Computer Science, пересечение (по задачам и методам) с АОТ Задача ИИ – компьютерное моделирование интеллектуальных функций Первая известная программа ИИ по обработке ЕЯ – Система Т. Винограда (70-е годы); Пример диалога : Pick up a big red block. (человек) OK (машина) Is there a large block behind a pyramid? Yes, Three of them. Grasp the pyramid. I don’t understand, which pyramid you mean

ОСОБЕННОСТИ ЕЯ ЕЯ – сложная система знаков, возникшая для обмена информацией в процессе человеческой деятельности и постоянно изменяющаяся вместе с ней Две стороны знака: означаемое – означающее Сложности ЕЯ комбинаторная система яз. знаков многоуровневость системы ЕЯ каждый уровень (подсистема) – правила сочетания знаков взаимосвязь уровней Разнообразие языков и языковые универсалии

ОСОБЕННОСТИ ЕЯ: УРОВНИ Фонологический: звуки ( фонемы )/ буквы – незначащие единицы, средство различения др. единиц Морфологический – слова ( словоформы ) подуровень морфем Синтаксический – предложения (фразы) ЕЯ подуровень словосочетаний надуровень сверхфразовых единств ( ≈ абзацев) – предложений, объединяющихся по смыслу  возможность построить практически бесконечное число высказываний (смыслов)

ДОПОЛНИТЕЛЬНЫЕ УРОВНИ ЕЯ: Семантический : набор элементарных единиц – сем Лексический : множество лексем (лексикон) Дискурсивный (уровень связного текста): схематические структуры текстов (патентные формулы, деловые письма и т. п. )

 невозможность единожды создать лингв. процессор Сложность системы ЕЯ Взаимосвязь всех уровней Нестандартная сочетаемость (синтактика) единиц ЕЯ на всех уровнях Большая системность (число уровней) Асиметрия связи единиц и выражаемых ими смыслов: полисемия, синонимия, омонимия

Сложность ЕЯ МОДУЛЬНОСТЬ ЛИНГВ. ПРОЦЕСОРОВ Графематический анализ Морфологический анализ Постморфологический анализ: разрешение морфологической омонимии Предсинтаксис: сегментация текста на предложения Синтаксический анализ предложений Семантический и прагматический анализ

Архитектура систем NLP блок анализа речевого сообщения пользователя, блок интерпретации сообщения, блок порождения смысла ответа, блок синтеза поверхностной структуры высказывания, диалоговый компонент

Блок анализа морфологический анализ словоформ синтаксический и семантический анализ предложений.

Блок порождения смысла определение информации, которую следует передать пользователю, предполагаемое членение информации на «порции», соответствующие предложению; определение последовательности «порций» смысла; построение семантического представления отдельных предложений

Блок синтеза поверхностной структуры высказывания упаковка семантического представления высказывания в синтаксические структуры предложения. Здесь играют существенную роль категории коммуникативной организации смысла высказывания — тема, рема, данное, новое

Современные речевые технологии Распознавание речи Синтез речи по тексту Выделение ключевых слов в слитной речи

ПРИКЛАДНЫЕ ЗАДАЧИ NLP Определение языка сообщений Идентификация диктора Определение эмоционального и физического состояния человека по его голосу. Шумоочистка Разделение дикторов Music Spotting

Siri англ. Speech Interpretation and Recognition Interface персональный помощник и вопросно-ответная система, адаптированная для iPhone OS. использует обработку естественной речи, чтобы отвечать на вопросы и давать рекомендации приспосабливается к каждому пользователю индивидуально, изучая его предпочтения в течение долгого времени.