Стандартизация разметки текста и оценивания предсказательных моделей в задачах понимания естественного языка

Воронцов Константин Вячеславович
доктор физико-математических наук, профессор РАН,
зав. кафедрой математических методов прогнозирования Института перспективных исследований искусственного интеллекта и интеллектуальных систем, заведующий лабораторией машинного обучения и семантического анализа МГУ им. М.В. Ломоносова, зав. кафедрой машинного обучения и цифровой гуманитаристики МФТИ, Москва, Россия
voron@mlsa-iai.ru

Карабулатова Ирина Советовна 
доктор филологических наук, профессор, зам. зав. кафедрой машинного обучения и семантического анализа Института перспективных исследований искусственного интеллекта и интеллектуальных систем МГУ им. М.В. Ломоносова, эксперт кафедры машинного обучения и цифровой гуманитаристики МФТИ, Москва, Россия
radogost2000@mail.ru


Аннотация
К настоящему времени накоплен огромный опыт применения глубоких нейросетевых моделей для решения задач автоматической обработки текстов и понимания естественного языка. К ним относятся задачи, поставленные ещё в середине ХХ века, но лишь недавно получившие решения, превосходящие человеческий уровень качества: анализ тональности, распознавание номинативов, синтаксический анализ, выделение фактов, суммаризация текстов, машинный перевод, поиск ответов на вопросы и многие другие.
Открылись возможности для решения задач, ранее считавшихся вызывающе трудными: выявление в тексте обмана, речевых манипуляций, психоэмоциональных воздействий, поляризации общественного мнения. Сюда же относится продолжавшийся почти три года и недавно завершившийся технологический конкурс ПРО//ЧТЕНИЕ (ai.upgreat.one) с задачей поиска смысловых и фактических ошибок в школьных сочинениях ЕГЭ по предметам гуманитарного цикла (русский язык, литература, обществознание, история, английский язык). Обобщение этого опыта позволяет говорить о стандартизации этапов разметки данных и оценивания качества языковых моделей.
Данный стандарт разметки основан на выделении, тегировании и связывании фрагментов текста с возможностью создания «затекстов» — дополнительных текстовых полей, тегируемых и связываемых наравне с фрагментами размечаемого текста. Предлагаемый формализм обобщает большинство известных задач разметки текста и позволяет строить глубокие нейросетевые модели на основе трансформеров.
Обсуждаемый стандарт оценивания основан на многокритериальном подходе и коллективных экспертных оценках. Он позволяет единообразно определять критерий относительной точности для широкого класса задачи разметки. Превышение этим критерием порогового значения 100% означает, что модель превосходит человеческий уровень точности при решении данной задачи.
Обновлённые нами подходы иллюстрируются на задаче выявления речевых манипуляций в тексте.

Ключевые слова: понимание естественного языка, глубокое обучение, задачи разметки текста