Интересные исследования ведутся и в отечественной филологии
(см., например, [6]-[9]).
Следует отметить общую характерную особенность этих и многих
других (не упомянутых нами здесь) исследований. Обычно изучаются
индивидуальные количественные параметры текстов и путем их
сравнения ученые старались выявить "значимые различия", опираясь
на которые можно было бы отличить друг от друга разных авторов.
Однако главным вопросом здесь является - какие различия следует
считать значимыми, а какие - нет. Тут открывается простор для
субъективизма. И здесь коренятся главные трудности применения
статистических методов к задачам такого сорта.
2. ЧТО ТАКОЕ АВТОРСКИЙ ИНВАРИАНТ?
Под АВТОРСКИМ ИНВАРИАНТОМ мы понимаем количественную
характеристику литературных текстов (некий параметр), который
а) однозначно характеризует своим поведением произведения
одного автора или небольшого числа "близких авторов", и
б) принимает существенно разные значения для произведений
разных групп авторов.
Желательно, чтобы число "разных групп" было достаточно
велико, и чтобы каждая группа объединяла относительно мало
похожих, близких по стилю авторов.
Однако многообразие грамматических структур, участвующих в
формировании литературных текстов, сильно затрудняет поиски таких
инвариантов. Уже простые вычислительные эксперименты показывают,
что обнаружение числовых характеристик, различающих разных
авторов, - сложная задача. Дело в том, что когда человек пишет
книгу, то существенную роль играют не только подсознательные, но
и сознательные факторы. Например, частота употребления автором
РЕДКИХ И ИНОСТРАННЫХ СЛОВ может, конечно, служить неким
показателем его стиля, эрудиции. Однако этот показатель ЛЕГКО
КОНТРОЛИРУЕТСЯ автором на СОЗНАТЕЛЬНОМ уровне, поскольку редкие и
иностранные слова вставляются в текст нечасто и каждый раз автор
специально отмечает про себя: "здесь я вставляю иностранное или
редкое слово". В результате, как неопровержимо свидетельствуют
конкретные подсчеты, использовать эту числовую характеристику в
качестве авторского инварианта НЕЛЬЗЯ. Она контролируется
автором, "скачет" и писатель может легко менять ее от
произведения к произведению.
Отсюда видно, что количественная оценка индивидуальных
отличительных особенностей автора - весьма нетривиальная задача.
Сформулируем точнее - какими свойствами должен обладать авторский
инвариант.
Искомая числовая характеристика должна удовлетворять
следующим естественным требованиям.
1) Она должна быть достаточно "массовой", интегральной,
чтобы СЛАБО КОНТРОЛИРОВАТЬСЯ автором на сознательном уровне.
Другими словами, она должна быть его "бессознательным
параметром", коренящимся настолько глубоко, что автор даже не
задумывается о нем. А если бы даже задумался, то не смог бы долго
его контролировать и в результате довольно быстро вернулся бы в
прежнее устойчивое и ТИПИЧНОЕ для него состояние.
2) Искомый параметр должен сохранять "постоянное значение"
для произведений данного автора. То есть, иметь небольшое
отклонение от среднего значения (слабо колебаться) на протяжении
всех его книг. Именно это свойство и позволяет говорить, что
данный параметр является ИНВАРИАНТОМ.
3) Наконец, параметр должен уверенно различать между собой
разные группы писателей. Другими словами, должно существовать
достаточное число авторских групп, заметно отличающихся друг от
друга значениями инварианта.
Третье условие важно. Ведь может случиться так, что
некий параметр окажется слабо колеблющимся вдоль произведений
каждого отдельного писателя, однако в то же время принимает ОДНО
И ТО ЖЕ ЗНАЧЕНИЕ, будучи вычислен для РАЗНЫХ авторов. Другими
словами, он не позволяет различать писателей.
ТОЛЬКО СОЧЕТАНИЕ ВСЕХ ТРЕХ ПЕРЕЧИСЛЕННЫХ УСЛОВИЙ ПОЗВОЛЯЕТ
ГОВОРИТЬ, ЧТО МЫ ОБНАРУЖИЛИ АВТОРСКИЙ ИНВАРИАНТ.
3. НАШ ПОДХОД. ВЫБОРКИ И ШАГИ.
Пусть в нашем распоряжении оказалось какое-то количество
произведений одного писателя. Для удобства упорядочим их
хронологически (т.е. в порядке написания) и для краткости назовем
получившуюся совокупность - ТЕКСТОМ ДАННОГО АВТОРА. Таким
образом, текст автора (в нашем определении) может состоять из
нескольких различных произведений - романов, повестей, рассказов
и т.п.
Выделим теперь из этого текста отдельные фрагменты -
выборки одинакового объема, т.е. состоящие из одного и того же
(фиксированного заранее) количества слов. Это количество слов
естественно назвать ОБЪЕМОМ ВЫБОРКИ.
Эти равновеликие (равные по объему) выборки мы будем
выделять из текста ЧЕРЕЗ РАВНЫЕ ИНТЕРВАЛЫ, т.е. таким образом,
чтобы каждые две соседние выборки были отделены друг от друга
примерно одним и тем же количеством слов. Это "расстояние",
интервал между соседними выборками мы назовем ШАГОМ (рис.1).
Объем выборок и их шаг можно варьировать в зависимости от
поставленных задач.
Итак, последовательно двигаясь по тексту одного автора, мы
через каждые, например, 10 страниц стандартного книжного текста
будем делать выборки одного и того же объема, например, в 2000
слов. Чем длиннее исследуемый текст, тем больше выборок мы сможем
сделать. Для коротких произведений число выборок будет невелико,
что усложняет анализ, делает результаты неустойчивыми.
Пусть теперь мы избрали какой-либо лингвистический параметр,
например частоту употребления писателем предлога "в". Можно
изучить эволюцию этого параметра вдоль всего текста, состоящего,
быть может, из нескольких отдельных произведений, выстроенных
нами в ряд. Для этого сделаем последовательные выборки и
подсчитаем для каждой из них значение интересующего нас
лингвистического параметра. В результате для каждой выборки
(порции) получим свое число. От выборки к выборке оно будет,
вообще говоря, меняться. Построим график, отложив по горизонтали
целые числа 1,2,3,..., являющиеся номерами последовательных
выборок, а по вертикали - значения изучаемой нами лингвистической
характеристики.
В результате, эволюция данного параметра вдоль всего
исследуемого текста изобразится некоторой ломаной линией.
Следовательно, мы представили каждого писателя не точкой на
плоскости или в пространстве, как это делалось, например, в
работах [1],[2], а графиком - ломаной линией. Она наглядно
показывает поведение исследуемого параметра вдоль произведений
данного автора. Оказывается, такие графики очень удобны при
поиске авторских инвариантов. В самом деле, теперь задача может
быть переформулирована так.
Требуется найти такой лингвистический параметр и такой
оптимальный объем выборок, чтобы соответствующие им графики
изображались бы для каждого автора ПРАКТИЧЕСКИ ГОРИЗОНТАЛЬНЫМИ
ЛИНИЯМИ - "ПРЯМЫМИ", т.е. слабо колеблющимися ломаными.
Другими словами, это будет означать, что числовые значения
найденного инварианта мало отклоняются от своего среднего
значения вдоль произведений каждого отдельного автора. Это
явление - сглаживание ломаной кривой и ее стремление к
горизонтальной прямой - назовем СТАБИЛИЗАЦИЕЙ лингвистического
параметра.
Однако одного факта стабилизации еще недостаточно, чтобы
можно было объявить данный параметр - авторским инвариантом.
Совершенно необходимо, чтобы стабилизировавшиеся графики (т.е.
практически горизонтальные прямые), отвечающие разным группам
писателей, ЗНАЧИТЕЛЬНО ОТЛИЧАЛИСЬ бы друг от друга по высоте. То
есть, они должны лежать на существенно разных уровнях. Напомним
еще раз, что иногда "горизонтальные прямые", отвечающие разным
авторам, могут оказаться близкими, лежащими на одном уровне. В
этих случаях значения авторских инвариантов близки. Мы отнесем к
одной группе писателей с близкими значениями параметров. Чтобы
авторский инвариант был действительно эффективен, он должен
разделить совокупность всех писателей на несколько групп с
существенно разными значениями инварианта.
Если значения авторского инварианта для двух сравниваемых
текстов оказываются близкими, отсюда нельзя делать заключение об
их принадлежности одному писателю.
Ясно, что априори само существование таких замечательных
лингвистических инвариантов ниоткуда не следует. Для их выявления
требуется обширный вычислительный эксперимент. И такой
эксперимент был нами проведен на протяжении нескольких лет.
Перейдем к изложению результатов.
4. ПОСТАНОВКА ЭКСПЕРИМЕНТА. СПИСОК ИССЛЕДОВАННЫХ
НАМИ ПАРАМЕТРОВ.
Для обнаружения "бессознательного параметра" - авторского
инварианта, слабо или вообще не контролируемого писателями, мы
изучили следующие количественные характеристики текстов.
1) ДЛИНА ПРЕДЛОЖЕНИЙ, т.е. среднее число слов в предложении
(подсчитанное для каждой выборки).
2) ДЛИНА СЛОВ, т.е. среднее количество слогов в слове,
подсчитанное для каждой выборки.
3) ОБЩАЯ ЧАСТОТА УПОТРЕБЛЕНИЯ СЛУЖЕБНЫХ СЛОВ - ПРЕДЛОГОВ,
СОЮЗОВ, ЧАСТИЦ, т.е. процентное содержание служебных слов в
каждой выборке.
4) ЧАСТОТА УПОТРЕБЛЕНИЯ СУЩЕСТВИТЕЛЬНЫХ, т.е. их процентное
содержание в каждой выборке.
5) ЧАСТОТА УПОТРЕБЛЕНИЯ ГЛАГОЛОВ, т.е. их процентное
солержание в каждой выборке.
6) ЧАСТОТА УПОТРЕБЛЕНИЯ ПРИЛАГАТЕЛЬНЫХ (в процентах).
7) ЧАСТОТА УПОТРЕБЛЕНИЯ ПРЕДЛОГА "В" (в процентах).
8) ЧАСТОТА УПОТРЕБЛЕНИЯ ЧАСТИЦЫ "НЕ" (в процентах).
9) КОЛИЧЕСТВО СЛУЖЕБНЫХ СЛОВ В ПРЕДЛОЖЕНИИ, т.е. среднее
число союзов, предлогов и частиц в предложении.
Некоторые из перечисленных параметров рассматривались ранее.
Однако предложенный нами параметр 3 - частота всех служебных слов
- является, насколько нам известно, НОВЫМ.
Указанные параметры существенно различны по своему
характеру. Наш параметр 3 особо выделяется своей интегральностью,
"массовостью", так как здесь подсчитывается суммарный процент
ВСЕХ СЛУЖЕБНЫХ СЛОВ, которых очень много! Большое число служебных
слов, используемых в русском языке, делает этот параметр
невероятно трудно контролируемым на сознательном уровне. Писатель
может легко следить, например, за длиной своих предложений.
Однако трудно представить себе автора, который при написании
книги смог бы уследить за процентом своих служебных слов!
Параметры 7 (частота предлога "в") и 8 (частота частицы
"не") описывают распределение отдельных служебных слов и заметно
менее "массовы", чем суммарный параметр 3. Мы включили параметра
7 и 8 в наш список, чтобы выяснить - стабилизируются ли они и
могут ли они служить в качестве авторских инвариантов (ответ
оказался отрицательным!).
Параметр 9 - количество служебных слов в предложении - хотя
и носит интегральный характер, однако существенно зависит от
длины предложений и следовательно от их числа в выборке. А эта
последняя величина, как показали подсчеты, весьма неустойчива и
может колебаться в заметных пределах, не стабилизируясь.
Мы специально собрали в нашем списке самые разнородные
числовые характеристики, чтобы составить представление о
сравнительном поведении этих параметров и выбрать из них
действительно стабилизирующийся (т.е. авторский инвариант), если
таковой вообще найдется.
В основу исследования был положен описанный выше выборочный
метод из генеральной совокупности. Величина шага, т.е. интервал
между соседними выборками, для книг большого объъема равнялся 60
страницам стандартного книжного текста.
Величина же выборки варьировалась. Размер начальной порции,
в отличие от 1000 слов, ранее принимавшийся многими авторами, был
принят равным 2000 слов. Затем объем выборок последовательно
увеличивался, а именно - 4000, 8000, 16000 слов.
Проведенный эксперимент показал, что дальнейшее увеличение
объема выборок не обязательно, так как искомый АВТОРСКИЙ
ИНВАРИАНТ был обнаружен уже при величине выборки в 16000 слов.
При исследовании текстов небольшого объема величина шага
уменьшалась и выборки производились чаще. Впрочем, как показал
эксперимент, величина шага (в отличие от объема выборки) мало
сказывается на окончательных результатах.
В качестве критерия стабилизации был взят следующий принцип.
Объем выборки увеличивался до тех пор, пока не обнаруживался
параметр, для которого средняя величина его отклонений от средних
значений вдоль произведений всех исследуемых писателей
оказывалась существенно меньше амплитуды колебаний параметра
между текстами разных авторов.
Другими словами, для каждого автора вычислялось отклонение
параметра от среднего значения, а затем эти отклонения
усреднялись по всем авторам. Разыскивался параметр, для которого
это последнее число существенно меньше разницы между максимальным
и минимальным значениями параметра по всем исследуемым писателям.
5. СПИСОК ИССЛЕДОВАННЫХ НАМИ АВТОРОВ
И ИХ ПРОИЗВЕДЕНИЙ.
Мы воспользовались традиционной периодизацией истории
русского литературного языка [9]. В качестве основного
исторического периода был избран XIX век, где были выбраны 9
писателей, писавших по-русски и создавших большие тексты. См.
список ниже.
Однако, чтобы составить более полное представление об
эволюции перечисленных параметров в зависимости от исторической
эпохи, рамки эксперимента были расширены. К списку авторов ЧШЧ
века мы добавили писателей XVIII и XX веков. В итоге получился
список из 23 писателей (см.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90