Методы статистического анализа литературных текстов
Автор:
Ю. Н. Орлов, К. П. Осминин, 312 стр., серия:
"Синергетика: от прошлого к будущему",
издатель:
"Книжный дом "Либроком"", ISBN:
978-5-397-05996-1, 978-5-397-02314-6
В настоящей книге излагается новый подход к решению некоторых задач математической лингвистики, основанный на использовании кинетических уравнений, описывающих эволюцию выборочных функций распределения текста по буквам. Этот подход сочетает в себе методы традиционной математической статистики и статистической механики, модифицированные для применения их к нестационарным временным рядам, каковыми являются последовательности букв в тексте. Центральной задачей, решаемой в данной работе, является идентификация автора и жанра "условно неизвестного" литературного текста в библиотеке известных текстов. Построен высокоточный метод идентификации, использующий функционал близости текстов как распределений пар букв в определенной норме. Анализируются также статистические свойства распространенных европейских языков. Для них установлено полуэмпирическое распределение алфавитных символов по частоте встречаемости, которое оказалось зависящим от двух параметров - количества букв в алфавите данного языка и их соответствия звуковому ряду. Рассмотрены конкретные примеры статистического решения некоторых спорных вопросов об авторстве того или иного текста. Книга будет полезна лингвистам и литературоведам, а также математикам, специализирующимся в области прикладной математической статистики.