3.3. Предметность и целостность слухового восприятия

При рассмотрении предметности и целостности как свойств когнитивной функции слухового восприятия обратимся прежде всего к тем работам, ...которые выходят за рамки обычных гештальтистских представлений о целостности. В этой связи нас заинтересовали исследования в рамках концепции "слухового потока", в основу которой положено понятие объектной соотнесенности слухового образа [195 - 200, 268-271]. Позиции авторов этих исследований оказываются весьма сходными с нашими представлениями о предметности и целостности слухового образа. Затем мы обсудим результаты ряда исследований, из которых следует необходимость точного опредмечивания слышимых звуков для адекватного их восприятия, а также полимодальный характер предметного восприятия.

3.3.1. Концепция "слухового потока"

(Настоящий раздел написан нами совместно с И. А. Даниленко, которого мы считаем соавтором данного раздела.)

Метафора "слуховой поток" впервые использована А. С. Брегманом и Дж. Кэмпбеллом [197] для обозначения субъективной репрезентации последовательности звуков, которая может быть интерпретирована как "целое", поскольку она проявляет внутреннюю согласованность и неразрывность. Однако само явление впервые описано Г. А. Миллером и Г. А. Хейсе [275] гораздо раньше; для объяснения явления формирования слуховых потоков они предложили термин "порог трели" (trill threshold).

Тот факт, что перцептивные эффекты звуков во многом зависят от контекста, в который этот звук внедрен, отмечался многими исследователями [см., например: 209, 211, 300-302, 340]. Другими словами, на воспринимаемую высоту, тембр и громкость влияют звуки, которые предшествуют ему, совпадают с ним и даже следуют за ним во времени. С. Мак-Адамс и А. С. Брегман [271] подчеркивают при этом роль перцептивной организации акустических событий в формировании слухового образа. В частности, было показано, что структура последовательности простых тонов разной частоты и интенсивности влияет на формирование целостного слухового образа, обладающего качественным своеобразием [197, 208, 285]. Л. П. ван Норден [284] обозначил эту целостность как "временную согласованность", т. е. события в последовательности связываются как перцептивная структура во времени. А источником такой согласованности называется источник звука. Другими словами, для того, чтобы быть способной формировать образы звуков в среде, слуховая система должна быть способной решать, какие из звуковых элементов приходят от одного источника ("принадлежат совместно"), а какие - от разных источников. Понятие "принадлежность", как концептуальный инструмент, С. Мак-Адамс [268] использует здесь для того, чтобы назвать совокупность правил внешних связей, которую реализует сенсорно-перцептивная система, чтобы сгруппировать элементы в функциональные единицы. Автор в связи с этим отмечает, что обычное слушание скорее синтетическое, чем аналитическое, поскольку, несмотря на то, что слуховая периферия выполняет анализ сложного звука внутри определенных спектральных и временных границ, мы обычно воспринимаем такой сложный звук скорее "как целое", чем как сумму частей. А процесс, посредством которого возникающие одновременно элементы группируются в отдельный объект, по его мнению, может быть процессом перцептивного слияния.

Таким образом, теория формирования слуховых потоков касается того, каким образом слуховая система определяет, является ли последовательность акустических событий результатом одного или более чем одного источника звука. Физический же источник рассматривается при этом как некоторая последовательность акустических событий, исходящих из одного месторасположения [271]. В качестве исходного было выдвинуто предположение о том, что формирование слухового потока как целого возможно только при существовании, как правило, единого источника звука, а сам поток отражает собой акустические характеристики реального источника звука [269, 271]. При этом в большинстве случаев (по крайней мере, в естественных условиях) каждый из слуховых потоков свидетельствует о наличии одного источника звука. Таким образом, в среде, где имеется много источников звука, формируется несколько слуховых потоков [195, 207, 269 и др.]. Впоследствии С. Мак-Адамс [268, 269] наряду с понятием "слуховой поток" вводит понятие ("метафору") "слуховой образ" или "образ звукового источника" примерно в том же значении. По С. Мак-Адамсу, "слуховой образ - это психологическая репрезентация реального звукового объекта, проявляющегося в когерентности его акустического поведения" [269, с. 291]. Автор считает, что именно временной характер паттерна акустических характеристик звука, которые обладают внутренней согласованностью, обусловленной единым звуковым источником, обеспечивает целостный слуховой образ.

Свойства, проявляемые слуховыми потоками, подробно обсуждаются С. Мак-Адамсом и А. С. Брегманом [271] и обобщаются в более поздних работах С. Мак-Адамса [269, 270]. В целом они сводятся к следующим особенностям слухового восприятия.

1. Можно фокусировать внимание на данном потоке в течение некоторого времени; это значит, что поток, по определению, проявляет временную согласованность.

2. Для разделения звуковой последовательности на меньшие потоки необходимо определенное время, поскольку перцептивная система, по-видимому, анализирует элементы последовательности, как приходящие от одного источника до тех пор, пока не наберется достаточно информации для альтернативного решения [196, 207].

3. Можно переключать внимание на разные слуховые потоки, однако невозможно сфокусировать его сразу на нескольких потоках. Выделяя один когерентный поток, слушатель тем самым относит к фону все остальные. При этом очень трудно сфокусировать внимание на потоках, первоначально отнесенных к фону (точно так же, как и в случае куба Неккера и других подобных зрительных иллюзий) [199, 200, 324].

4. При восприятии можно легко упорядочить во времени события внутри потока, но более трудно определить относительный порядок событий между потоками.

Возникает вопрос: когерентность каких же конкретно физических характеристик обусловливает формирование слуховых потоков и что приводит к их разделению. Выделяются два возможных типа организации перцептивных данных при формировании слуховых потоков: последовательная и одновременная [269, 270]. Главные акустические характеристики, которые детерминируют слуховые потоки, формирующиеся при последовательном предъявлении звуковых событий, включают частотные и амплитудные различия, скорость появления событий (темп), спектральные содержание и форму (т. е. частоты, присутствующие в сложном тоне, и их относительные амплитуды). Так, например, при заданном темпе звуки, имеющие большие различия по частоте, вероятнее будут услышаны в раздельных потоках, чем близкие по частоте звуки. При этом, быстрые последовательности с большей вероятностью могут расщепляться на несколько потоков, чем медленные [197, 208, 285]. Однако, как показали другие исследования [283], разделение потоков на основе частотных и темповых различий не ограничивает различение пауз в тональных последовательностях. Между темпом и частотой существует обратная взаимозависимость: чем быстрее тоны следуют один за другим, тем меньшая частотная разделенность нужна для расщепления последовательности на отдельные перцептивные потоки, и наоборот [285]. Большое значение в формировании слуховых потоков имеет также характер траектории изменений частоты элементов последовательности [198, 271]. Другой фактор, хотя и более слабый, который вносит вклад в формирование потока, - это относительная амплитуда тонов [285]. Роль спектральной композиции в образовании слухового потока иллюстрирует тот факт, что при прибавлении гармоники (третьей, например) к некоторым тонам звуковой последовательности наблюдается слияние спектральных компонентов (тона и его гармоники) в один перцепт [269, 270]. С. Мак-Адамс [269] предположил, что все вышеперечисленные акустические факторы могут быть сведены к одному контекстуально зависимому критерию спектральной неразрывности.

Спектральная неразрывность последовательности акустических событий - не единственный признак звукового источника, обеспечивающий целостный образ восприятия. Должны существовать и критерии разделения комплексов звуков разных источников, излучающих одновременно. Имеются факторы, определяющие слияние и разделение одновременно возникающих слуховых потоков [268-270]. Были выделены 4 таких фактора.

1. Когерентная амплитудная модуляция звуков источника.

2. Когерентная частотная модуляция.

3. Сложное соединение амплитудной и частотной модуляции, которое определяет спектральную огибающую, подразумевающее стабильную резонансную структуру (такую, как форманты гласных).

4. Общая пространственная локализация (динамическая согласованность временных, интенсивностных и спектральных различий звуков в двух ушах для всех элементов источника при его движении или движении головы).

Амплитудной модуляцией С. Мак-Адамс обозначает низкочастотные модуляции, которые рассматриваются как огибающая амплитуды натуральных звуков (функции атаки и затухания, флуктуации в интенсивности). При этом два аспекта когерентности амплитуды спектральных компонентов важны для формирования образа звукового объекта: синхронность атаки спектральных компонентов и когерентность амплитудных флуктуаций этих компонентов в течение всего звучания [269, 270]. Дж. Л. Данненбринг и А. С. Брегман [208] показали, что, когда атаки составляющих звукового комплекса асинхронны по крайней мере на 20-30 мс, воспринимаемое слияние уменьшается, а способность выслушивать отдельные составляющие увеличивается.

Когерентная частотная модуляция, по С. Мак-Адамсу, - это модуляция, сохраняющая отношения частотных составляющих. Если же при частотной модуляции эти отношения не сохраняются, то целостный звуковой комплекс "разваливается" (например, в случае сохранения постоянной разницы между частотами).

С. Мак-Адамс предположил, что слуховая система использует местную некогерентность (между соседними составляющими) для обнаружения множества источников звука и глобальную когерентность (между всеми составляющими), чтобы объединить соответствующие спектральные компоненты в едином слуховом образе.

Когда спектральные компоненты модулируются по частоте, их амплитуды (имеются в виду амплитуды изменений но частоте) изменяются так, что каждая гармоника описывает небольшую часть спектральной огибающей (определяемой в целом формантной структурой). Это сложное соединение частотной и амплитудной модуляций позволяет точнее определить спектральный контур и в определенных случаях добавляет важную информацию, которую слуховая система может использовать для идентификации источника звука.

Важное сходство этих одновременно действующих факторов в том, что они динамичны; когерентность же их изменений показывает происхождение звуков от одного источника, а некогерентность - от разных. В искусственных условиях, например при компьютерном синтезе музыки, можно независимо управлять степенью когерентности любого из этих факторов и даже противопоставлять их друг другу. В естественных же условиях необходимый уровень когерентности может быть зависимым от опыта слушателя. При этом на основании опыта формируется некоторая модель когерентности для конкретного звукового объекта (и для физически сходных объектов), определяющая границы "позволительности" образов при восприятии незнакомых звуков. Эти границы постоянно расширяются с накоплением перцептивного опыта [268-270].

Существование разных критериев для обнаружения последовательной и одновременной перцептивной организации предполагает возможность конфликта или конкуренции между ними при формировании образа. Показано, что, как правило, слуховая система выбирает среди конкурирующих наилучшую перцептивную организацию акустических событий [195, 199, 335].

Итак, исследования, обсуждаемые в этом разделе, показывают связь целостного восприятия с конкретным (предметным) звуковым источником. При этом различные источники звука обязательно характеризуются пространственной и временной обособленностью - главными качествами предметности. Вместе с тем данный круг работ практически не затрагивает вопросов выявления непосредственного предметного содержания образа и той роли, которую предметность играет в процессах формирования слухового образа. Рассмотрим некоторые результаты исследований, в которых предметное содержание образа прямо характеризует адекватность слухового восприятия.

3.3.2. Предметность в восприятии натуральных и искусственных звуков

Предметный характер слухового восприятия находит подтверждение в ряде работ, направленных на изучение вербальных описаний слышимых звуков [352 и др.], а также в исследованиях, связанных с изучением процессов узнавания, запоминания, воспроизведения и различения сигналов [182, 317, 334]. Так, из работы М. С. Шоффлера и Дж. А. Шеридана [317] следует, что, хотя значение многих звуков легко определяется в большей части ситуаций, человек должен быть информирован также, каким событиям соответствует конкретное звучание.

В некоторых из указанных исследований испытуемым предъявлялись искусственные звуки, для описания которых у человека не могло иметься готового словаря [334]. При этом большинство авторов показали, что даже при прослушивании незнакомых звуков испытуемые пытаются найти для них некоторый аналог среди звучаний, с которыми им приходилось встречаться ранее. Вполне естественно, что на характер обозначения (опредмечивания) воспринимаемых звуков существенное влияние оказывает прошлый, и в частности профессиональный, опыт индивида. Специальному изучению влияния профессионального опыта на восприятие и описание незнакомых звуков посвятили свою работу Л. Тейлор, Л. Ганди и Ж. Дарк [334]. В своих экспериментах они предъявляли испытуемым тональные сигналы, различающиеся частотой, длительностью, передним и задним фронтами (всего 10 комбинаций), а задачей испытуемых было описать признаки каждого из предъявляемых звуков. В экспериментах выявилось, что описания могут быть разделены на три типа: "звукоподражательные", "иллюстративные" и "физические". Причем оказалось, что "физические" описания, непосредственно связанные со слуховыми характеристиками (например, громкий или тихий, высокий или низкий, длинный или короткий и т. д.), не являются преобладающими в общей массе описаний. Многие описания представляли собой сочетания из описаний двух или даже всех трех типов признаков, например "короткий высокочастотный тон" или "медленное сердцебиение". Одни описания оказывались связанными с обозначением возможного источника звука (например, "кондиционер" или "телеграфный гудок"), а другие представлялись образно ("похожие на басовую ноту" или "пушистый или меховой звук"). Отмечено также, что при описании тональных звуков возможны интерпретации, содержащие заметную эмоциональную окраску. Так, например, некоторые испытуемые описывали предъявляемый сигнал как "жуткий", "мрачный", "тревожный", "таинственный", "пугающий", "навязчивый".

В зависимости от своего профессионального опыта испытуемые по-разному интерпретировали услышанные звуки. Так, в группе административных служащих, звуковым окружением которых являлись телетайпы, телефоны, пишущие машинки и т. п., гораздо чаще давались такие обозначения звуков, как "кондиционер", "телефонный гудок". Инженеры сталелитейного предприятия, в звуковом окружении которых частыми являлись механические шумы и сигналы оповещения, обозначали такие предъявляемые сигналы, как "сирена", "сигнал оповещения", "буксирное судно" и т. п. Музыканты могли опредмечивать звучания обозначениями музыкальных инструментов (например, "басовый инструмент"). Характерно, что максимальное число физических признаков звука использовалось в описаниях, сделанных музыкантами. Это вполне понятно, поскольку элементом профессиональной подготовки музыканта является частое использование физических терминов для объяснения особенностей мелодии, темпа ритма и т. п. Тип признаков, усвоенных для музыкальных звуков, переносится и на тональные сигналы.

Как видим, при описании звуков, не имеющих исходно непосредственного предметного содержания, испытуемые тем не менее пытаются найти в них признаки, связанные с некоторыми, уже сформированными эталонами. При восприятии звука обозначением такого эталона является содержательный референт конкретного признака. Это обозначение может быть связано, например, с теми представлениями об источнике сигнала, которые сформировались у испытуемого на основании его прошлого опыта. Поэтому существенными оказываются способы кодирования признаков стимула в памяти, извлечение которых связано со способами их обозначения, называния.

В психологических исследованиях достаточно традиционно изучение влияния вербального кодирования на запоминание невербального материала. Так, роль вербального обозначения признаков сложного звукового сигнала в его запоминании специально изучалась в исследовании Дж. X. Бауэра и К. Холиока [194]. Основная задача, которую авторы ставили в исследовании, заключалась в выявлении того, каким образом запоминание и узнавание натурального звука связано с характером интерпретвции его признаков. Организуя свое исследование, Дж. X. Бауэр и К. Холиок исходили из предположения, что, услышав некоторый натуральный звук, человек пытается определить референт этого звука, сравнивая его с некоторым набором эталонов (прототипов).

Авторы обосновали необходимость применения в эксперименте сложных, неоднозначно интерпретируемых звуков, которые описываются некоторым набором признаков, имеющих сложную структуру. Исходя из такого условия. Дж. X. Бауэр и К. Холиок провели специальный эксперимент по оценке неоднозначности звуковых сигналов, выбрав для дальнейшего исследования те натуральные звуки, которые получили несколько (не менее двух) возможных интерпретаций.

В качестве примера пар интерпретаций таких неоднозначных звуков приводятся следующие: "свисток сонара - тропическое насекомое", "сердцебиение - прыгающий резиновый мячик" и т. п. Затем эти выбранные звуки предъявлялись нескольким группам испытуемых для запоминания. В одном случае испытуемым предлагалось самим дать описание каждого из услышанных звуков; в другом - такие описания делал экспериментатор. Через некоторое время те же самые звуки предъявлялись для узнавания. Было обнаружено, что сигналы узнавались лучше, если описания в керии узнавания не отличались от интерпретаций, сделанных при запоминании, а также если при запоминании было дано более адекватное описание звука. Наоборот, если испытуемый не смог дать описания звуку при запоминании, то результаты узнавания становились хуже. Важным для узнавания звука оказалось не то, кем (испытуемым или экспериментатором) обозначены сигналы при запоминании, а то, как испытуемый заново описывает их при узнавании и в какой степени это описание адекватно предъявленному звуку. На основании своих экспериментов авторы делают вывод, что описание имеет относительно больший вес в узнавании, чем сенсорные параметры; т. е. испытуемые вспоминают натуральные звуки, восстанавливая образ объектов (обычно зрительный), издающих подобные звуки. Если изменяется референтно вызванный образ, то соответственно изменяется и показатель идентификации звука. Более того, даже в случае ведущего сенсорного параметра в звуковом объекте (например, такого акустического признака, как громкость) "сенсорное описание" звука будет существенно зависеть от конкретной, ситуативной интерпретации этого сигнала, если комплекс акустических признаков трудно различим.

Другим результатом указанной работы является предположение о том, что для того, чтобы предъявленное испытуемому описание способствовало лучшему узнаванию, оно должно быть наиболее конкретизировано, т. е. описание должно представлять собой менее общую и более специфическую категорию интерпретации в сравнении с той, которую испытуемый смог бы сделать сам. Чем более общим и абстрактным является обозначение звука, тем менее вероятно, что это обозначение сможет актуализировать в памяти мнемический след конкретного стимула, предъявленного при запоминании. Так, например, описание "это механический звук" слишком абстрактное обозначение, если испытуемый должен выбрать сигналы между "шумом пылесоса" и "шумом военной битвы". В одном из выводов Дж. X. Бауэра и К. Холиока признается также необходимость рассматривать описание конкретного сигнала в контексте описаний окружающих их сигналов, поскольку этот контекст может повлиять на характер выделения "специфических признаков" звука и их смысловую интерпретацию и тем самым изменить различительные способности индивида. Так, для точной индентификации натурального звука необходимо формирование не только предметного образа этого звука, но и достаточно четкое "опредмечивание" ситуации, в которой продуцируется звук. По нашему мнению, важным для адекватного восприятия является выделение предметного содержания ситуации как в пространственном, так и во временном окружении конкретного воспринимаемого звучания.

Анализу роли обозначения признаков сложного звукового сигнала при его распознавании посвящена также работа Ж. К. Бартлетта [182]. В эксперименте, организованном аналогично экспериментам Дж. X. Бауэра и К. Холиока, обнаружена жесткая связь между распознаванием звука и его вербальным обозначением. Автор приходит к выводу, что процесс узнавания звуков определяется характером хранения и извлечения из памяти вербальных интерпретаций звучаний. Причем связь между уровнем распознавания и обозначением звука оказалась не зависящей от времени хранения следа. Подтверждено также, что интерпретации, которые наиболее точно соответствуют происхождению звуков (более адекватные интерпретации), лучше способствуют узнаванию звуков при прослушивании.

Проводя анализ полученных результатов, Ж. К. Бартлетт разделяет процесс узнавания и процесс восприятия различий в звучаниях. Он показывает, что узнавание звука (осознание того, что звук был предъявлен ранее) не обязательно определяется теми же процессами, что и факты различения сигналов, т. е. психологически восприятие различия не обозначает необходимости его включения в узнавание. Различение испытуемым действительно предъявленных ранее звуков и похожих на них ложных сигналов будет зависеть от того, насколько более адекватную интерпретацию получили одни сигналы в сравнении с другими. Здесь подчеркивается роль сравнения предъявляемого сигнала со следами в памяти, которые составлены ранее услышанными звуками.

В целом работа Ж. К. Бартлетта подтверждает положение о том, что предметное обозначение звукового сигнала необходимо для правильного распознавания акустического воздействия, а значит, и для формирования слухового образа, адекватного этому воздействию.

В русле указанных работ проведено исследование Д. М. Лоренса [261-262], который также изучал, как характер описаний натуральных звуков, сделанных при их запоминании, влияет на последующее узнавание этих звуков. Кроме того, автор попытался выявить, влияет ли на узнавание конкретных звуков предъявление испытуемым сделанных им же самим описаний, но относящихся к другим, не предъявлявшимся в данной экспериментальной серии, звучаниям (т. е. изучалась роль интерференционного эффекта в описаниях). Результаты настоящего исследования, так же как и результаты, полученные в работах Дж. X. Бауэра, К. Холиока и Ж. К. Бартлетта, подтвердили важную роль вербального кодирования в процессе узнавания натуральных звуков. В частности, показано, что предъявление испытуемым ложных интерпретаций звуков перед их прослушиванием приводит к значительному ухудшению показателей узнавания.

Таким образом, правильное опредмечивание звука является необходимым условием формирования адекватного слухового образа. К аналогичному выводу мы пришли при обсуждении результатов уже упоминавшихся экспериментальных исследований восприятия музыкальных звучаний, проведенных нами совместно с А. В. Беляевой [19, 97, 187]. Осуществленный А. В. Беляевой анализ вербальных описаний, полученных от испытуемых при восприятии фрагментов исполнения музыкальных произведений, показал, что испытуемые не могли описать образ сложного звука без указания на предметное содержание подлежащих описанию звучаний. Имеются в виду такие опорные референты, как комната, закрытое помещение, концертный зал, сцена, оркестр, инструменты, певец, голос и некоторые другие, часто служащие "каркасом" для построения вербализуемого образа музыкального звучания. Вокруг этого предметного каркаса организовывались остальные вербализованные признаки звучаний, дающие достаточно адекватное представление как о характере звучания, так и о его пространственных и динамических качествах. В результате проведенного анализа А. В. Беляева получила достаточно полный список зафиксированных в эксперименте вербализованных признаков звучания, характеризующих, в частности, предметное содержание слухового образа [18, 97]. При этом четко проявился полимодальный характер слухового восприятия.

3.3.3. Полимодальность предметного восприятия

Полимодальный характер образа восприятия обсуждался неоднократно в работах многих авторов [83, 145, 201, 202, 247, 256, 257, 260, 341, 350 и др.]. В наших исследованиях слухового восприятия также отчетливо проявилась полимодальность субъективных образов сложного звука. Как показал анализ полученных от испытуемых вербальных описаний, типология использованных дифференцирующих признаков воспринимаемого звука имеет полимодальную основу, т.е. испытуемые использовали для описания слухового образа признаки практически всех модальностей. Причем собственно акустические признаки составляли среди них лишь незначительную часть.

Наиболее часто наблюдалось выражение характеристик образа воспринимаемого звучания через признаки зрительной модальности (визуализация слухового образа). Для передачи впечатлений от звука испытуемые могли использовать достаточно сложные образно-метафорические описания: "...когда в жаркую погоду нагретый асфальт... и через этот колеблющийся воздух видно предметы, они нереальные и неестественные, какие-то качающиеся, двигающиеся... и вот впечатление, что здесь тоже передо мной нагретый воздух... и вот эти щеточки, тарелочки (высокочастотные музыкальные инструменты. - В. Н.) проходят через эту систему... Значит, они, во-первых, качаются как-то неестественно в пространстве, и их спектр очень смазанный, идет с такой же чистотой, как вот... если б я смотрел через... нагретый асфальт..." (более широкий круг примеров описаний звука, свидетельствующих о визуализации слухового образа, представлен нами ранее [97].

В целом полученные в этих экспериментах данные подтверждают ведущую роль информации зрительной модальности в формировании целостного образа восприятия. Как писал Б. Г. Ананьев, "в процессе исторического развития и - на его основе - онтогенетической эволюции и внутри этой организации образуются межанализаторные интермодальные сенсорные системы с высокими уровнями интеграции, переходящими в перцептивные системы. Одной из них является речеслуховая система, включающая собственно слуховые, вибрационные, гравитационные, кинестетические, тактильные и другие сигналы, кодируемые соответственно языковыми единицами. С речеслуховой системой связана вербализация всего чувственного опыта человека" [12, с. 184].

Другой сенсорной системой, интегрирующей сигналы любой модальности, Б. Г. Ананьев называет зрительную систему. Зрительный образ вещи как бы вбирает в себя, синтезирует, организует вокруг себя данные остальных органов чувств. Это не означает, однако, что в определенных видах деятельности ведущая роль не может принадлежать и другим модальностям, например, слуховой модальности при прослушивании музыки.

Касаясь проблемы полимодальности слухового образа, Б. М. Теплов отмечает, что "у лиц с высокоразвитым внутренним слухом имеет место не возникновение слуховых представлений после зрительного восприятия, а непосредственное слышание глазами, превращение зрительного восприятия нотного текста в зрительно-слуховое восприятие. Сам нотный текст начинает переживаться слуховым образом... человек приобретает способность слышать читаемые глазами ноты и видеть нотную запись слышимой музыки" [149, с. 172].

Полимодальность восприятия, проявляющаяся прежде всего в целостной взаимосвязи впечатлений слуховой и зрительной модальностей, следует из многочисленных работ по синестезии или "цветному слуху" [38, 39, 145]. В качестве примера межчувственных взаимодействий обычно рассматривают факты представлений о размерах или объеме звучаний: низких звучаний как "больших" и "толстых", а высоких - как "маленьких" и "тонких". Такое соответствие, как правило, имеет основание в реальных размерах предметов, продуцирующих звук,- для создания высокого звука требуется излучатель меньшего размера. Здесь межмодальная взаимосвязь отражается на уровне элементарных ощущений. На уровне целостного восприятия межсенсорное взаимодействие проявляется более конкретно через предметность полимодального образа.

Примером многомодального воздействия на человека является светомузыка. Исследования в этой области показали, что для создания у слушателя-зрителя целостного образа от воздействия звука и света необходимо обеспечить иллюзию принадлежности этих раздражителей одному процессу или, в более общем случае, иллюзию существования причинно-следственной связи между ними [38]. В противном случае зрению и слуху будут представлены два независимых события, которые не смогут создать целостный образ в связи с противоречивостью информации, поступающей по разным сенсорным каналам. Особенно сильно это проявляется при создании звучаний с помощью опосредствующих технических каналов звуковоспроизведения, т. е. в случае отсутствия зрительной информации, соотносимой с предметным содержанием слухового образа.

Связь слухового образа со зрительными впечатлениями представляется нам достаточно определенной. В первую очередь мы усматриваем эту связь в том, что информацию о предметном содержании звукового объекта человек получает не иначе, как на основании своего зрительного опыта. Предметность слухового образа формируется постепенно, по мере накопления данных о соотнесении зрительных и слуховых впечатлений. Не последнюю роль в устранении размытости предметного содержания слухового образа играют, разумеется, и данные тактильной модальности. Здесь следует отметить наличие определенной аналогии между закономерностями восприятия объектов, информацию о которых человек получает по каналам тактильной и слуховой модальностей. Такая аналогия (например, в восприятии площади и плотности тактильного воздействия с размером слухового образа) иногда связывается с представлениями об эволюционном развитии слуховой сенсорной системы из кожных рецепторов [186].

Нас, однако, интересует связь характеристик слухового образа с сигналами зрительной модальности. Факты визуализации слухового образа, возникновения зрительных образов в результате звуковых воздействий, несомненно, определяются опытом предметной деятельности человека. Вместе с тем сам полимодальный характер предметного восприятия предполагает существование и обратного явления - возникновения слуховых образов на основании действия только зрительных раздражителей.

И действительно, примеры создания такого многомодального образа при воздействии стимула только одной модальности можно найти там, где недостаток многообразия средств воздействия разной модальности компенсировался изощренностью использования имеющихся средств.

Так, например, отсутствие технических возможностей записи звука в немом кино привело к появлению выразительных форм, которые обеспечивали целостный образ восприятия. В искусстве немого кино была создана особая поэтика выражения чувств, которая могла обходиться без звукового сопровождения. Слуховые образы "формировались" на экране средствами зрительных ассоциаций. "В лучших фильмах природа звука как бы вырастала из немой выразительности. Звуковое содержание эпизода часто решалось строем и монтажом изображаемого, пластике немого экрана нередко приходилось еще и "звучать". Изобразительная логика вплотную подошла в немом кино к звуку, вызывая звуковые ассоциации путем выразительного изображения источников звука" [56, с. 169]. При этом опытные кинорежиссеры непосредственно использовали свойство предметности слухового восприятия, отображая на экране звуковые объекты в процессе их звучания. Таким образом, именно предметная отнесенность звукового и зрительного объекта позволяла создавать целостные слуховые образы без какого-либо звукового воздействия. Такая отнесенность осуществляется путем сведения образов объектов, реально воздействующих на органы чувств, с образами другой модальности, извлекаемыми из памяти человека, т. е. формируемыми на основании его прошлого (в данном случае - слухового) опыта. И немой киноэкран достиг значительного совершенства в обеспечении подобного "опредмечивания" слухового образа зрительным воздействием. При просмотре "Октября" Эйзенштейна "мы зримо воспринимаем залп "Авроры" крупноплановым выделением дрожащей люстры и изобразительным решением эха залпа, как бы прокатившегося по коридорам Зимнего дворца. Подобное выражение и ощущение звука закономерно рождалось из обостренной выразительности синтеза пластических средств немого образа" [56, с. 169]. Монтаж зрительного ряда в немом кино "позволил говорить даже статуям" [56, с. 171].

Необходимо отметить, что выразительные средства немого кино, дающие возможность восполнить отсутствие звукового канала, оказывались не просто средствами зрительного предъявления звучащего предмета. Образ в немом кинематографе представляется качественно иным, чем в звуковом. Это проявилось сразу, как только были созданы первые звуковые фильмы. Звук заставил изменить саму драматургическую форму фильма. Особое внимание требовалось уделять целостности звукозрительной формы. Изображение как бы уступило звуку часть своих функций, отпала необходимость поиска изобразительной передачи звука. "Тишину, например, можно уже было просто и непосредственно показать как реальную тишину, не прибегая к изобразительным сравнениям и метафорам" [56, с. 166].

Во время перехода от дозвуковой эры кино к звуковому экрану обнаружились и принципиальные различия в характере объектов восприятия зрительной и слуховой модальностей. Имеется в виду необходимый атрибут звукового явления как физического процесса - развитие звучания во времени. Натуральное время, которое требовал звук, оказывалось несопоставимым с конденсированным кинематографическим временем, определяющим логику немого изображения, его особую динамику. Когда Эйзенштейн пытался создать зрительный эквивалент эха, раскатывающегося по Зимнему дворцу после выстрела "Авроры", он был вынужден учитывать динамическую структуру развития звукового события при монтаже изображения. Использованные приемы оказались бы совершенно неестественными при наличии натурального озвучивания.

Вместе с тем звук открыл неограниченные возможности для повышения выразительности зрительного ряда. В первую очередь это проявилось в возможностях использования дополнительной пространственной информации при создании кинообраза. Здесь особенности пространственного слуха стали использоваться в полной мере, как бы "расширив" рамки киноэкрана. С самого момента появления звукового кино стали утверждаться такие пространственные понятия, как "звуковой ракурс", "звуковой крупный план", "звуковой монтаж" и т. п. [137]. Звук позволил как бы ввести дополнительное "измерение" в зрительный образ, создаваемый изображением. Объемность звучания, рельефность звуковой картины добавляют плоскому изображению киноэкрана глубину. Слуховой образ переводит действие на экране за пространственные границы самого экрана. При этом гармоничное сочетание зрительного ряда и звука обеспечивает наиболее полное, предметное восприятие как собственно изображения, так и звучания.

Приведенные примеры наглядно показывают, что в конечном счете именно через предметность обнаруживается полимодальность восприятия. Если мы видим какой-либо предмет, то он узнается "не просто как видимая форма, но и как вещь осязаемая, слышимая, тяжелая, легкая, как острая, мягкая, теплая, съедобная и т. п." (55, с. 237). Точно так же мы определяем свойства предметов внешнего мира, услышав связанные с ними звучания. Иначе говоря, даже на основании информации, поступающей по одному сенсорному каналу, сигнал от предметного источника может сформировать образ восприятия во всех модальностях. Так, переход от видимой формы к воспринимаемой вещи "реализуется путем насыщения видимости многомодальностью. Видимая вещь приобретает твердость, гладкость, звучность и т. п." [55, с. 238]. И наоборот, услышанный звук дает нам информацию не только для узнавания зрительно знакомого предмета, но и о размере звукового объекта, его расположении в пространстве, свойствах среды, в которой осуществляется продуцирование звука (объем помещения, его звукопоглощающие свойства, наличие препятствий для прохождения звука и т. п.).

Существуют специальные области использования звука в качестве особого выразительного средства, в которых ставится прямая задача создания многомодального предметного образа восприятия путем воздействия только сигналов слуховой модальности. Одной из таких областей является радиоискусство. Специфической особенностью такого канала массовой коммуникации, как радио, можно назвать то, что оно предназначено для воспроизведения фактов и явлений действительности в их непосредственных звуковых характеристиках. При этом радио воздействует на аудиторию целым комплексом выразительных средств, создаваемых возможностями звукового отражения предметной действительности. Музыка и шумы, применяемые в радиопостановке, входят в круг психологических обстоятельств действия, "озвучивают" (а точнее, "визуализируют") связи персонажа и окружающего его мира, тем самым участвуя в радиоповествовании как активный, движущий инструмент [168]. Современные звуковыразительные средства обеспечивают не только опредмечивание восприятия (услышав звук тормозов автомобиля, мы достаточно ясно представляем, что затормозил именно автомобиль), но и передачу полного представления о пространстве звучания, об удаленности звукового объекта и т. п.

Итак, в слуховом образе четко проявляется полимодальный характер восприятия. Наиболее ярко взаимодействие модальностей в образе восприятия, а также феномен трансформации образов одних модальностей в другие (в частности, синестезии) обнаруживается в слове как универсальном "перекодировщике" [12, 83, 97]. При этом для описания свойств звука человек неизменно использует не только признаки других модальностей (например, "тонкий" - "толстый", "острый" - "тупой", "высокий" - "низкий" и т. п.), но и выражает некоторые предметные качества, указывающие на конкретный тип объекта во внешнем мире, порождающего слуховой образ. В проделанной нами ранее работе [97] дан подробный анализ возможных способов использования многомодальных признаков слухового образа.

Здесь мы снова подчеркиваем, что полимодальность слухового восприятия проявляется прежде всего в его предметности. При этом взаимодействие слуха и зрения, складывающееся в процессе онтогенетического развития человека, определяет непосредственно феномен "визуализации" слухового образа. Несомненно взаимное влияние звуковых и зрительных воздействий на формирование целостного образа восприятия.

Особую роль такое влияние приобретает в ситуациях искусственного воссоздания звучаний, предполагающих определенное слуховое воздействие на человека, т. е. при использовании технических средств звукопередачи и звуковоспроизведения. В этой связи необходимо более подробно рассмотреть проблемы, возникающие при использовании таких средств.