§ 4. Теория подкрепления связей

Согласно этой теории, процесс научения заключается не столько в установлении новых, сколько в дифференцированном подкреплении некоторых уже существующих связей между раздражителями и ответами, благодаря действию таких специфических подкрепляющих факторов, как фактор "эффекта" Торндайка или фактор "ослабления потребности" Халла.

Концепция Торндайка применима в основном для объяснения преобладающего закрепления некоторых форм реакций, возникающих при избирательном научении по методу "проб и ошибок"; явления классического обусловливания остаются практически необъясненными. В отличие от Торндайка Халл, руководствуясь теми же принципами, делает попытку объяснить всю совокупность явлений научения.

А) По Торндайку, понятие связи может быть определено только в функциональном и вероятностном аспектах: "Связь между стимулом 5 и ответом R возникает тогда, когда вероятность появления R после S больше нуля" (1932, стр. 19). Физиологическое содержание процесса установления связи почти не уточняется: связь рассматривается как "деятельность или определенное состояние нейронов" (1933, стр. 475).

а) Как уже отмечалось, основным фактором подкрепления связи является закон эффекта. Вот определение этого закона: "Когда процесс установления связи между ситуацией и ответной реакцией сопровождается или сменяется состоянием удовлетворения, прочность связи возрастает; когда связь эта сопровождается или сменяется состоянием неудовольствия, прочность ее уменьшается" (1913, стр. 4). Позднее (1931) закон эффекта был сведен только к его позитивному аспекту: состояние неудовольствия вовсе необязательно приводит к ослаблению связи, интенсивность последней иногда даже несколько возрастает.

Как же понимать состояние удовлетворения? Торндайк, основываясь на непосредственно наблюдаемых признаках поведения, попытался дать объективное определение этого состояния: "Состоянием удовлетворения можно назвать такое состояние, которое организм стремится вызвать и сохранить; состоянием неудовольствия можно назвать такое состояние, которого организм стремится избежать" (1913, стр. 123).

Существование положительного эффекта и его значение были показаны Торндайком на материале многочисленных и разнообразных экспериментов. Так, например, в одном из этих экспериментов испытуемому предъявлялись 200 испанских слов. Каждое слово сопровождалось 5 английскими словами, одно из которых являлось переводом этого испанского слова. Испытуемому предлагалось найти среди предъявленных ему 5 английских слов слово-перевод. Сразу же после ответа испытуемого его реакция оценивалась экспериментатором как "правильная" или "неправильная". Каждое испытание повторялось 12 раз.

В приводимой ниже таблице (Торндайк, 1931, стр. 32) представлены результаты 5 испытуемых по одному из 200 испанских слов. Цифры указывают на порядковый номер английского слова, выбираемого в каждом из 12 последовательных предъявлений. Правильным было в данном случае слово под номером 2.

Как видно из таблицы, правильное слово начиная с момента получения первой положительной оценки выбирается все чаще. В ходе этих опытов было выявлено также отсутствие отрицательного эффекта, уменьшающего интенсивность связей. Например, в тех же опытах отбирались случаи (для всех 200 слов, предъявленных 9 испытуемым), когда испытуемые называли правильное слово начиная со 2-й или 3-й пробы (те случаи, когда правильное слово oназывалось уже при первой пробе, отбрасывались, чтобы устранить влияние связей, уже обладающих в силу предшествующего опыта некоторой начальной интенсивностью). Были отобраны 20 случаев этого типа. Таким же образом отбирались случаи (20 случаев), когда со 2-й или с 3-й (но не с 1-й) пробы называлось неправильное слово. Затем была предпринята попытка определить влияние двух правильных или неправильных ответов на частоту правильных или неправильных ответов в последующих пробах.

У одного испытуемого, например, в пробе, следующей непосредственно за двумя правильно выбранными словами, было 18 правильных и 2 неправильных ответа, в то время как при случайном распределении ответов могло бы быть только 4 правильных и 16 неправильных выборов (из 20). В пробе, следующей сразу же за двумя неправильными ответами (выбиралось одно и то же слово), было получено 10 ответов, отличающихся от предыдущих, в то время как при случайном распределении их должно было бы быть 16.

Для 9 испытуемых были получены следующие результаты: в 70% случаев (в среднем) за правильным ответом во 2 и 3-й, 3 и 4-й или во 2 и 4-й пробах следовал правильный ответ и в последующей пробе, в то время как при случайном распределении ответов этот процент был бы равен 20. Таким образом, положительное влияние эффекта успеха составило 50%. Количество случаев, когда за неправильным ответом (выбиралось то же самое слово) во 2 и 3-й, 3 и 4-й или во 2 и 4-й пробах выбиралось слово, отличное от предыдущего, составило 73%, тогда как при случайном распределении их было бы 80%. Таким образом, положительное влияние эффекта неуспеха составило 7% (Торндайк, 1931, стр. 41).

б) Каким образом фактор эффекта влияет на упрочение связи? Это вопрос о механизме подкрепления.

Механизм этого процесса является механизмом реакции "подтверждения" (confirming reaction). Однако эта реакция никоим образом не должна рассматриваться как восстановление в памяти - в форме воспроизведения или припоминания данного ответа и следующего за ним эффекта удовлетворения или неудовольствия. Иначе говоря, механизм эффекта не является интериоризованным повторением последовательности раздражитель - ответ и сопровождающего его эффекта, - механизм этот прямой и непосредственный: эффект автоматически, независимо от осознавания его субъектом, вызывает увеличение интенсивности связи. Другими словами, реакция подтверждения представляет собой чисто физиологическое явление воздействия актуального состояния нервной системы на ее предшествующее состояние, не предполагающее обязательно психологические процессы. Торндайк, впрочем, не скрывает, что природа этого воздействия весьма неопределенна (1935, стр. 40).

В пользу такого понимания реакции подкрепления приводятся 2 рода фактов: факты бессознательного научения, с одной стороны, и явление распространения эффекта - с другой.

1) Бессознательное научение заключается в формировании связей S - R, проявляющемся в увеличении частоты правильных ответов, при условии, когда субъект либо не знает, на какой аспект ситуации он дает ответ (неосознавание раздражителя), либо не знает, каким образом он отвечает на данную ситуацию (неосознавание ответа).

Примером первого типа может служить следующий опыт: испытуемому последовательно предъявляется 100 карточек, на каждой из которых нарисованы 4 линии, пронумерованные от 1 до 4, каждая длиной 5 см. Кроме того, на каждой из карточек имеется специальное условное обозначение (одна из линий имеет большую толщину, перечеркнута маленькой чертой и т. п.), позволяющее экспериментатору идентифицировать ответ, который будет подкрепляться. Например, на карточке, где одна из линий перечеркнута 2 маленькими чертами, ответ будет оценен как "правильный", если испытуемый выберет линию под номером 2; на карточке, имеющей одну линию большей толщины, как "правильная" будет оцениваться линия под номером 1, и т. п. Испытуемого, разумеется, не предупреждают о существовании такой связи между условным обозначением на карточке и подкрепляемым ответом. Ему дается инструкция сравнить 4 линии и назвать номер той, которая ему кажется длиннее. Испытуемому говорят, что различия в длине линий очень невелики и, следовательно, вначале он будет часто ошибаться; в действительности же, как отмечалось, все линии имеют одинаковую длину. После каждого выбора экспериментатор оценивает ответ испытуемого как "правильный" или "неправильный" в зависимости от совпадения ответа испытуемого с условным обозначением на карточке. В этих условиях некоторые испытуемые, конечно, разгадывают "ключ" данной системы оценок. Среди остальных, которые не догадываются, по какому принципу дается оценка ответов, наблюдаются две тенденции: у одних испытуемых нет никакого улучшения в выполнении задания, у других, наоборот, наблюдается заметное улучшение качества исполнения; так, у 8 испытуемых количество правильных ответов увеличилось с 362 в начале опыта до 432 - в конце, то есть прирост составил 19,6%.

Примером второго типа может служить уже упоминавшийся опыт с испанскими словами, когда нужно найти слово, соответствующее одному из предъявленных английских слов, но на этот раз выбор испытуемого должен сопровождаться двигательной реакцией, заключающейся в подчеркивании выбранного слова. Сразу же после этой реакции экспериментатор дает оценку "правильно" или "неправильно", и испытуемый переходит к следующей строчке. Система оценок задумана таким образом, чтобы правильное слово занимало позиции 1, 2, 3, 4, 5 слева направо при соответствующих частотах повторения 10, 15, 20, 25 и 30%. При этом получение положительной оценки связано не только с выбором определенных слов, но также и с выбором и подчеркиванием слов, расположенных ближе к правой половине строчки. В этих условиях испытуемым 16 раз предъявлялась серия из 200 слов. Затем предлагался тест,, состоящий из 100 новых слов, но на этот раз реакции испытуемого не получали никакой оценки. После окончания этого теста проверяли, не догадались ли испытуемые о неравномерном распределении "правильных" слов. Учитывались лишь результаты тех испытуемых, которые утверждали, что они ни о чем не догадывались в ходе опыта.

Были получены следующие результаты: для 8 испытуемых среднее количество подчеркнутых слов в первом и во втором тестах изменилось соответственно с 28 до 19 для первой позиции и с 12 до 21 для пятой позиции; налицо, таким образом, тенденция локализации реакций в области с наиболее частым положительным эффектом.

2) Феномен распространения эффекта заключается в упрочивании отрицательно подкрепляемых связей, смежных - в пространстве или во времени - со связями, вызывающими положительный эффект; это упрочивание тем сильнее выражено, чем ближе расположена связь, получающая отрицательное подкрепление, к связи, подкрепляемой положительно.

Этот феномен был выявлен Торндайком в ходе многочисленных опытов по серийному научению. В одном из этих опытов (1933), например, испытуемому зачитывался ряд слов. При назывании каждого слова испытуемый должен был отвечать определенной цифрой; экспериментатор, руководствуясь заранее установленным правилом, оценивал ответ испытуемого как "правильный" или "неправильный". Данный ряд слов предъявлялся испытуемому несколько раз, но испытуемый не мог запомнить, как он реагировал на предыдущие предъявления, потому что количество слов было очень большим.

Анализ ответов испытуемых показал, что чаще повторяются ответы, получавшие одобрение; однако если не получивший одобрения ответ находится в непосредственной близости от одобренного, то он повторяется гораздо чаще, чем это могло бы быть при случайном распределении; воздействие одобрения максимально для смежных с ним слов, на расстоянии 5 слов оно практически равно нулю.

Средние результаты 15 экспериментов этого типа следующие: если принять за 0 количество повторений неодобряемого ответа, находящегося на расстоянии 5 и более элементов от одобряемого, то окажется, что одобряемый ответ повторяется в 10 раз чаще, чем неодобряемый, находящийся на расстоянии 5 элементов от него, в 9 раз чаще, чем находящийся непосредственно перед ним неодобряемый ответ и только в 2,5 раза чаще неодобряемого ответа, следующего непосредственно за одобряемым. Этот последний, следовательно, более всего подвержен влиянию распространения эффекта, то есть опосредствованному воздействию эффекта.

3) На какую же связь непосредственно действует эффект? Торндайк вводит здесь понятие "сопринадлежности" (appartenance) (1932, стр. 76; 1935, стр. 59): эффект оказывает непосредственное воздействие на связи, находящиеся с ним в отношении сопринадлежности. Как понимать сопринадлежность? Иногда (1935, стр. 59) сопринадлежность определяется только как смежность во времени эффекта и связи; однако в другом месте (1935, стр. 51-52) Торндайк включает в это понятие более глубокие, внутренние связи: эффект рассматривается как следствие ответной реакции, между реакцией и эффектом существует причинная зависимость (аналогичная той, которая наблюдается, например, между вкусовым ощущением и потреблением пищи, схватыванием добычи и прыжком).

Подобная внутренняя сопринадлежность, разумеется, отличается от той, которая определяется простой смежностью во времени. Торндайк, однако, подчеркивает, что эта связь вовсе не обязательно должна осознаваться субъектом. При всей своей важности фактор сопринадлежности не является тем не менее необходимым условием подкрепления, доказательством чего может служить явление распространения эффекта.

4) Признавая несомненное значение эффекта, являющегося основным условием формирования связи, Торндайк упоминает и о существовании некоторых второстепенных факторов, способствующих образованию связей. Одним из таких факторов, предваряющих воздействие подкрепления, является фактор сопринадлежности, существующей в некоторых случаях между двумя элементами связи: например, сопринадлежность между подлежащим и сказуемым в предложении. Но эта сопринадлежность, представляющая собой результат ранее выработанной условной связи, не является совершенно новым фактором; она свидетельствует лишь о том, что если связь уже раньше была выработана, то она быстрее достигает определенного уровня интенсивности.

Наряду с этим Торндайк упоминает еще о двух дополнительных условиях образования связи: факторе распознаваемости (identifiabilite), то есть большей или меньшей легкости дифференцирования раздражителей, и о факторе диспонибильности (disponibilite) - большей или меньшей легкости выполнения ответной реакции.

Эта концепция вызвала различные возражения, а) Прежде всего, трудно согласиться с пониманием механизма реакции "подтверждения" как прямого и автоматического процесса, совершенно независимого от субъективного осознавания событий или элементов связи. Здесь можно говорить, очевидно, о ретроактивном влиянии одного физиологического процесса на другой. Но почему это влияние приводит именно к усилению предшествующего процесса? Торндайк признает, что механизм такого подтверждения неизвестен, и поэтому сам описывает этот механизм в психологических терминах! ("It seems to accept, say "yes", or O. K. to it, endue it with acceptability...")

Как относиться к этим двум группам фактов, приводимых Торндайком в доказательство прямого и автоматического действия подкрепления?

Что касается бессознательного научения, то примеры его часто противоречивы и могут, по-видимому, интерпретироваться различным образом. Когда некоторые из опытов Торндайка были повторены другими экспериментаторами, были получены результаты, отличные от результатов Торндайка.

Например, в опыте с линиями, повторенном Полле (1946) на двух группах испытуемых по 40 и 50 человек, были получены полностью отрицательные результаты: количество "правильных" ответов нисколько не увеличивалось в ходе эксперимента.

В то же время в опыте с выбором и подчеркиванием слов, также повторенном Полле (1946), были получены результаты, аналогичные результатам Торндайка: у 12 (из 27) испытуемых, не догадавшихся о неодинаковом распределении "правильных" слов, количество слов, выбираемых из 4-й и 5-й строк, увеличилось в ходе эксперимента с 16,5 до 22%, а количество слов, выбираемых из первой строки, - с 17,5 до 26,5%. Всего было 16 предъявлений серии, состоящей из 200 слов. Следовательно, в данном случае наблюдалось определенное улучшение результатов. Нужно, однако, отметить, что ответ в этом случае представляет собой простую автоматизированную, всегда одну и ту же двигательную реакцию, поэтому в силу закона частоты, то есть под влиянием упражнения, возможно возникновение навыка локализованной реакции, аналогичного моторному научению.

В других опытах Торндайка (Например, опыты по заканчиванию слов (1932). Испытуемому предъявляется список слов, в которых одна или несколько букв заменены точками. Нужно заменить каждую точку соответствующей буквой так, чтобы образовалось определенное слово. После подготовительной серии испытуемого предупреждали о том, что только некоторые слова будут оцениваться как "правильные", принцип оценки испытуемому не сообщался (экспериментатор для себя определял такой принцип замещения точек буквами, в соответствии с которым, например, точка после "а" должна заменяться буквой "в", точка после "б" - буквой "е" и т. п.)), также повторенных Полле (1946), равно как и в различных ситуациях научения того же типа, в которых нужно было, например, понять "принцип" ( Древер (1934), Полле (1946), де Боршграв (1957)) улучшение исполнения, то есть научение, происходило иногда гораздо раньше, чем испытуемые открывали этот принцип, а в некоторых случаях последний вообще так и не был открыт. Однако вряд ли правомерно считать этот факт бесспорным доказательством бессознательного научения. Опыты Полле (1946), Сценткеречи (1956) и де Боршграва (1957) показали, что этот прогресс может в некоторых случаях объясняться постепенным овладением принципом решения, в то время как вначале замечаются лишь какие-то отдельные аспекты или элементы системы решения (Эти результаты нельзя, однако, рассматривать как доказательства невозможности бессознательного научения вообще. Некоторые формы сенсомоторного и моторного научения, как правило, относятся к типу бессознательного научения в том смысле, что модификации реакций чаще всего осуществляются неосознанно и не контролируются субъектом, что не говорит, однако, об отсутствии когнитивных данных сенсорного характера).

в) Что же касается явлений распространения эффекта, то хотя они, как правило, и получали подтверждение, однако интерпретировались по-разному. В сущности, если связи, смежные с подкрепляемой, имеют тенденцию лучше закрепляться при последующем повторении, чем связи более далекие, то из этого еще не следует с необходимостью, что закрепление этих чаще повторяющихся связей происходит сразу и непосредственно под влиянием одобрения.

Так, Нюттен (1941, 1953) показал, что слова, смежные с одобренными, запоминаются ничуть не лучше, чем все остальные слова ряда; следовательно, нельзя сказать, что смежные с одобренной связи являются лучше сформировавшимися. В качестве примера можно привести следующий опыт: испытуемому одновременно предъявляется 40 хорошо знакомых слов родного языка и 5 иностранных слов, он должен выбрать одно из этих 5 слов, соответствующее слову-индуктор у; отзет испытуемого в соответствии с заранее определенной схемой получает одобрение или неодобрение. После первого предъявления инструкция меняется: теперь при появлении слова-раздражителя нужно воспроизвести ответ, ранее дававшийся на это слово. Сравнивалось количество правильно воспроизведенных сочетаний для двух категорий неодобренных ответов: для ответов, расположенных между двумя одобренными или же непосредственно перед одобренным и после него, и ответов, находящихся на расстоянии 2, 3, 4, 5 элементов от одобренного. Результаты 16 экспериментов этого типа (500 испытуемых, 21 170 связей) показали, что количество правильных воспроизведений составляет соответственно 48 и 50%.

Однако Нюттэн (1953) показал, что при последующих предъявлениях тенденция вспоминать неодобренную связь как одобренную тем сильнее, чем ближе находилась эта связь к действительно одобренной при предыдущем предъявлении. Так, например, в опыте с выбором иностранного слова, соответствующего слову-индуктору, испытуемым (11 групп, всего 358 человек) предлагали во время 2-го сеанса воспроизвести на каждое слово-раздражитель ответ, дававшийся на него при первом предъявлении, и оценку (правильно или неправильно) этого ответа экспериментатором. Установлено, что процент припоминания положительных оценок ответов, которые на самом деле получали отрицательную оценку, гораздо больше для находящихся в непосредственной близости к одобренному (непосредственно перед или после него), чем для ответов более далеких (на расстоянии 3 и более элементов), соответственно 27% в первом случае и 22% - во втором. Различие небольшое, но статистически значимое. Здесь мы имеем дело с феноменом распространения эффекта нового типа: распространением эффекта в процессе припоминания оценки. Однако этот феномен никоим образом не свидетельствует о том, что связи, смежные с одобренной, являются более упроченными, чем другие; он доказывает лишь, что существует тенденция к широкой иррадиации одобрения и к вытеснению при воспоминании следов неодобрения. Нюттэн, впрочем, отмечает, что испытуемый часто может вспомнить ответ, однако затрудняется в отношении характера оценки.

Взаимодействие этих двух факторов - распространения эффекта и неуверенности в припоминании оценки - может, по Нюттэну, привести к тому, что вблизи удачных ответов испытуемый будет, по-видимому, преимущественно повторять данные ответы, потому что они связаны в его воспоминании с переживанием успеха. И наоборот, вблизи неудачных ответов существует тенденция не повторять ответы, связанные у испытуемого с воспоминаниями о неудаче. Однако в таком случае нужно говорить о роли эффекта как индикатора или информатора о том, "что нужно делать" для выполнения задания, а вовсе не о прямом и автоматическом подкреплении некоторых связей.

Зёркл (1946) показал, что тенденция к повторению ответа, смежного с ответом, получившим положительную оценку, проявляется и в том случае, когда в каждом последующем предъявлении изменяется порядок раздражителей, близких к одобренному,- следовательно, влияние эффекта распространяется не на сами связи, как таковые, а именно на выполнение ответных реакций (О работах по изучению явления распространения эффекта, или "эффекта Торндаика", и их интерпретации см.: М. Маркс (1956) и Фэльтайм (1956)).

г) Процесс confirming reaction не является, по-видимому, непосредственным и автоматическим. Как же следует его понимать? Очевидно, как информационный процесс. Воздействие эффекта, видимо, проявляется не столько как воздействие аффективного фактора, вызывающего состояние удовольствия или неудовольствия, а, скорее, как фактора, информирующего о том, что нужно и чего не нужно делать для выполнения задачи. Эффект является не абсолютным, а относительным фактором: он определяется успехом или неуспехом выполнения задачи.

Это служит объяснением того, почему влияние эффекта тем сильнее, чем точнее даваемая информация. Повторяя опыт Торндайка, в котором испытуемые с закрытыми глазами должны были вычерчивать линии заданной длины, Кейсон и Троубридж (1932) сравнивали четыре экспериментальных условия:

условие 1: реакция не сопровождается никакой информацией;

условие 2: реакция сопровождается бессмысленным слогом;

условие 3: реакция сопровождается (в зависимости от точности работы испытуемого) оценкой "хорошо" или "плохо";

условие 4: реакция сопровождается указанием точной длины проведенной испытуемым линии.

Были получены следующие результаты: число точных реакций при условии 1 равно 13,6%, при условии 2 - 5,1, при условии 3 - 22,6 и при условии 4 - 54,8%. Отмечается, что чем точнее даваемая испытуемому информация, тем точнее реакции. Плохие результаты, полученные при условии 2, можно, вероятно, объяснить отвлечением внимания, вызванным совершенно чуждым задаче фактором.

С другой стороны, это объясняет роль фактора сопринадлежности связи и эффекта. Торндайк упоминает об этом факторе, но не дает ему точного определения. Эффект сказывается только на тех ответах и возможных детерминантах этих ответов, которые входят в задачу; ясно, что в данном случае речь идет о внутренней сопринадлежности, а не о простом совпадении или смежности.

Это объясняет, наконец, специфическое воздействие положительного эффекта в реакциях научения, то есть в реакциях при "открытой" задаче, согласно терминологии Нюттэна (1953). В сущности, в данном случае субъект более или менее определенно знает, что некоторые реакции, а именно реакции, получившие положительную оценку, нужно запомнить и сохранить, поскольку возможно, что их придется воспроизводить или припоминать в дальнейшем. Напротив, в "закрытой" задаче, то есть в тех случаях, когда выполнение операции не сопровождается научением, положительный эффект не оказывает благоприятного по сравнению oс отрицательным эффектом воздействия; Нюттэн показал это в ряде интересных исследований (1953).

Например, испытуемым (Пять групп испытуемых, всего 321 человек) предъявляли серию карточек с изображенными на них предметами или животными одного вида (стадо овец, ряд деревьев, группа домов и т. п.) и просили указать количество объектов на каждой карточке. Ответ испытуемых (в соответствии с замыслом эксперимента, согласно которому половина ответов должна быть оценена положительно, а другая - отрицательно) оценивался как "правильный" или "неправильный". Во время второго сеанса испытуемых просили вспомнить ответ, который они давали на каждую карточку в первом сеансе. Установлено, что количество точных воспроизведений для ответов, получивших положительные и отрицательные оценки, практически одинаково: 48,1 и 48,3.

В другом исследовании подобного типа испытуемым предъявлялись карточки, на которых были изображены 2 заглавные буквы,, написанные крупным шрифтом (было составлено 12 различных пар букв; каждая пара предъявлялась 12 раз, но предъявлялись буквы, написанные разным шрифтом; таким образом, всего было предъявлено 124 пары). Испытуемый должен был оценить площадь, занимаемую одной буквой, сравнив ее с другой: больше, меньше (в действительности площади обеих букв были практически одинаковы). Ответ испытуемого оценивался как "правильный" или "неправильный" в соответствии с замыслом эксперимента: 6 из 12 пар всегда должны были получать положительную оценку, а 6 других - отрицательную. Во время второго сеанса экспериментатор предъявлял испытуемому первую букву пары (из всех 12 пар) и просил назвать букву, "меньшую, чем предъявленная", если в первом сеансе у испытуемого наблюдалась тенденция считать первую букву меньше второй; если же испытуемый в первой серии чаще оценивал первую букву как большую, то инструкция менялась на противоположную и требовалось назвать букву "большую, чем...". Нужно было установить, облегчается ли воспроизведение второй буквы в тех 12 парах, которые получили положительную оценку, по сравнению с другими 12 парами букв, оцененных отрицательно. Количество точных воспроизведений второй буквы (в опыте участвовало б групп испытуемых, всего 444 человека) в этом случае также оказалось почти одинаковым: 40, 4% и 42%, различие статистически незначимо. Очевидно, можно сделать вывод, что когда при выполнении задачи не возникает научения, то положительный эффект не оказывает благоприятного воздействия.

Напротив, в условиях научения, особенно в опытах Торндайка, при так называемой "открытой" задаче оценки выполняют информативную или интегрирующую функцию, включая данный элемент в систему создаваемого задачей напряжения.

В одном из своих исследований Нюттэн сравнивал воздействие оценок в "закрытой" и "открытой" задачах. В опыте использовался кинезиметр Мишотта. Одна из групп испытуемых (А) выполняла "закрытую" задачу: испытуемые выполняли с закрытыми глазами движение заданной амплитуды; амплитуда движения определялась положением движущейся цели, которое изменялось при каждой пробе. Сразу же после выполнения испытуемым движения экспериментатор давал оценку "хорошо" или "плохо" в зависимости от того, на какую величину (меньше или больше одного углового градуса) отклонялось воспроизводимое испытуемым движение от положения цели. Испытуемого заранее предупреждали, что ему придется выполнить несколько такого рода реакций. Вторая группа (Б) выполняла "открытую" задачу: испытуемым давалась инструкция научиться точно выполнять одно и то же движение, повторяя его всякий раз при отклонении амплитуды от движущейся цели. В действительности движения, выполняемые обеими группами испытуемых, были одинаковыми: экспериментатор каждый раз возвращал движущуюся цель в одно и то же положение. Различие состояло в том, что у испытуемых группы А выполнение движения и его оценка не интегрировались с задачей, в то время как у испытуемых группы Б эта оценка включалась в выполнение задания. Полученные результаты свидетельствуют о том, что среднее отклонение у испытуемых группы Б гораздо меньше, чем у группы А (58,8 градуса у группы Б и 81 градус у группы А).

д) Ряд авторов (Торндайк, 1932; Толмен, Бретнелл и Холл, 1932; Баллах и Хенли, 1941; Нюттэн, 1941, 1953), по-видимому, допускает влияние отрицательного эффекта на научение. Отрицательный эффект может, прежде всего, оказывать положительное влияние на ответ антагонистический, или противоположный тому, который получает отрицательную оценку: например, реакция избегания, возникающая под действием отрицательного эффекта, вызовет положительный эффект, а именно облегчение, и этот эффект впоследствии будет упрочивать связь реакции избегания с данной ситуацией.

Но отрицательный эффект может также выполнять информирующую по отношению к определенному ответу функцию и быть таким образом подкрепляющим агентом связи. Толмен, Бретнелл и Холл (1932) показали, что при научении в лабиринте, который испытуемый проходит с помощью металлического стержня, когда электрический ток дается либо при правильных, либо при ошибочных ответах, научение быстрее осуществляется при первом, чем при втором условии. По мнению этих авторов, эффект в данном случае способствует более отчетливому восприятию признаков правильного или неправильного ответа.

Нюттэн (1953) показал, что в определенных условиях ответ, получающий отрицательную оценку, но способствующий выполнению последующей задачи, может лучше интегрироваться и таким образом лучше сохраняется, чем положительно оцениваемый, но неинтегрированный ответ. Испытуемому предъявлялась серия карточек с написанными на них буквами алфавита, на обратной стороне каждой карточки была написана цифра. Испытуемый, называя букву, должен был угадать соответствующую ей цифру. Если цифра называлась точно, экспериментатор оценивал ответ испытуемого как "правильный", в противном случае экспериментатор переворачивал карточку и показывал испытуемому цифру, которую нужно было называть одновременно с буквой. В инструкции говорилось: "Целью эксперимента является определение количества предъявлений карточек, необходимого для того, чтобы Вы угадали написанную на ней цифру. После каждого правильного ответа соответствующая карточка будет откладываться в сторону, так как в дальнейшем она уже не понадобится". Это была предварительная часть эксперимента, предназначенная для ознакомления испытуемого с тем, что ему предстоит делать. В основном эксперименте предъявлялось 11 новых карточек. Система оценки устанавливалась следующим образом: ответ на 5 карточек оценивался как "правильный"; в 6 других случаях экспериментатор сразу же после ответа испытуемого (если только он не называл правильную цифру, что случалось очень редко) переворачивал карточку; в этом случае ответ испытуемого тоже оценивался как "правильный". На третьей стадии испытуемому предлагалось воспроизвести цифры, написанные на карточках, предъявлявшихся на второй стадии: это была цифра, получившая положительную оценку, "вознаграждение", либо, для тех карточек, на которые был дан неправильный ответ, цифра, указанная на обратной стороне карточки.

Итак, с одной стороны, была положительная оценка (вознаграждение), являющаяся в то же время для испытуемого указанием на то, что он может больше не интересоваться данной реакцией; и, с другой стороны - оценка отрицательная (наказание), являющаяся одновременно указанием на то, что ответ необходимо сохранить как средство успешного решения предстоящей задачи в аналогичных ситуациях.

Результаты эксперимента, проведенного на трех группах испытуемых (всего 264 человека), приводятся в таблице:

Во всех трех случаях количество точных воспроизведений было гораздо больше после отрицательной оценки, чем после положительной, хотя различия статистически значимы лишь для II и III групп.

Кроме того, можно допустить, что отрицательный эффект способствует образованию связи между ситуацией и ответом, вызывающим этот эффект, но что связь эта не проявляется в поведении при выполнении реакции, поскольку выполнение реакции требовало бы положительного эффекта.

Поэтому многие авторы (Лешли, 1929; Уильяме, 1929; Эллиот, 1930; Толмен, 1932, 1934; Халл, 1951, 1952; Нюттэн, 1953) настаивают на необходимости различения понятий научения и исполнения (performance). Однако это различение не проводится Торндайком, оно почти неприменимо к его теории, потому что связь у него определяется как вероятность ответа в данной ситуации. Нужно, по-видимому, рассматривать эту связь как связь процесса раздражения и потенциальной реакции, так что (в физиологическом плане) эта связь будет проявляться в поведении лишь после замещения отрицательного эффекта положительным, но формируется она гораздо раньше, до своего проявления. Поэтому положительный эффект является, вероятно, не необходимым фактором научения, а необходимым фактором исполнения.

Б) Халл (1943, 1951, 1952) приложил много усилий к уточнению и систематизации теории подкрепления связей и попытался включить в эту теорию все многообразные факты научения и особенно обусловливания.

а) Для Халла, как и для Торндайка, научение состоит в образовании связей между раздражителями и ответными реакциями. Но эти связи понимаются в данном случае как устойчивые состояния организма (1943), как связи, устанавливающиеся между рецеп-торными и эффекторными процессами на уровне центральной нервной системы и соответствующие привычному понятию навыка (₈H_r). Природа таких состояний больше не уточняется; это "гипотетические конструкции", являющиеся промежуточными переменными между раздражителем и ответом и проявляющиеся в плане поведения как "тенденция", то есть вероятность возникновения реакции при воздействии раздражителя.

Основное условие образования таких связей аналогично условию эффекта Торндайка; но Халл называет его более неопределенно подкрепляющим "фактором" или "агентом". Подкрепление понимается в данном случае не как состояние удовлетворения (satisfier), а как процесс ослабления потребности (need reduction). Механизм подкрепления предполагает, следовательно, существование первичной потребности и ее последующее ослабление (Отметим - и это будет, следовательно, генерализация закона эффекта Торндайка,- что ослабление потребности может осуществляться двумя способами: присутствием положительного раздражителя, удовлетворяющего существующую потребность, и устранением раздражителя отрицательного (вредного), что вызывает исчезновение потребности, обусловленной самим наличием этого вредного раздражителя), причем о наличии потребности организм информируют специфические афферентные сигналы (drive stimulus).

Единственным условием, необходимым для проявления действия подкрепления и образования связи, является смежность во времени реакции и действия раздражителя или его следа, с одной стороны, и этих последних и ослабления потребности - с другой.

Закон "первичного подкрепления", определяющий этот основной механизм, формулируется следующим образом: "Когда эффекторная деятельность совпадает во времени с афферентным импульсом или устойчивым следом этого импульса и когда это совпадение оказывается тесно связанным во времени с ослаблением возбуждения, соответствующего какой-то потребности, то наблюдается возрастание тенденции раздражителя вызывать данную реакцию и в дальнейшем" (1943, стр. 80).

К этому закону первичного подкрепления добавляется следствие, или закон "вторичного подкрепления", согласно которому при более или менее абсолютном совпадении (с интервалом не более 20 секунд) любого раздражителя, вызывающего возбуждение рецепторов (афферентный импульс), с процессом ослабления потребности сам этот раздражитель может становиться подкреплением. Этот закон был введен, по-видимому, для того, чтобы распространить действие механизма подкрепления на те случаи, когда ослабление потребности является лишь завершением довольно длительной и сложной деятельности, охватывающей период времени гораздо больший, чем действие первичного подкрепления.

б) Интенсивность подкрепления и, следовательно, интенсивность связи зависят от различных факторов. Халл сделал попытку уточнить роль этих факторов, сформулировав их количественное выражение.

Интенсивность связи, определяемая подкреплением, зависит прежде всего от количества проб или предъявлений ситуации, в ходе которых производится подкрепление. Зависимость интенсивности связи от количества подкреплений является экспоненциальной и может быть выражена уравнением: _SH_R=М(1-e^-iN), где М - предел интенсивности, возможный в условиях данного эксперимента, N - количество подкреплений, i - эмпирическая константа, выражающая скорость приближения функции к своему максимуму, е - основание натуральных логарифмов. Это уравнение является уравнением возрастающей функции, в котором увеличение всегда составляет постоянную часть от предельно возможной величины.

Впрочем, предел интенсивности связи в определенных условиях зависит от различных факторов, которые в свою очередь также могут рассматриваться как факторы интенсивности связи.

Первым фактором этого типа является величина или количество подкреплений. Предел интенсивности связи будет экспоненциальной функцией этого фактора: М=М₀(I-e^-kw), где М₀ - предел интенсивности, возможный в оптимальных условиях, w - индекс, выражающий количество подкреплений, k - константа скорости прироста.

Вторым фактором является интервал времени между реакцией и подкреплением. Предел интенсивности навыка будет также экспоненциальной, но уже отрицательной функцией этого фактора: М=М₀е^-jt, где t - интервал времени, j - константа скорости прироста.

Это уравнение является выражением закона "градиента подкрепления", согласно которому уменьшение интенсивности подкрепления зависит от интервала времени между реакцией и началом ослабления потребности. Этот феномен аналогичен феномену распространения эффекта Торндайка.

Наконец, предел интенсивности навыка будет зависеть также от интервала времени между появлением раздражителя - нового или условного, - участвующего в новой связи, и ответа (в некоторых случаях этот предел зависит от длительности действия условного раздражителя).

Зависимость в данном случае также будет выражаться отрицательной экспоненциальной функцией: М=M₀e^-ut', где t' - интервал времени между раздражителем и ответом, или время действия раздражителя, u - константа скорости прироста.

Уравнение, выражающее зависимость интенсивности связи от указанных различных факторов, в окончательном его варианте примет следующий вид:

_SH_R=М₀(1-е^-iN)(1-e^-kw)(e^-jt)(e^-ut').

в) Ясно, что потребность детерминирует образование связи, поскольку действие фактора подкрепления проявляется в форме ослабления потребности. Второй аспект участия потребности в образовании связи заключается в том, что потребность приводит в действие уже сформировавшуюся связь, то есть выступает как фактор исполнения, способствует переходу навыка от потенциального состояния к актуальному. Интенсивность потребности наряду с интенсивностью связи определяет потенциал возбуждения или реакции, _SE_R, являющийся мультипликативной функцией этих двух факторов

_SE_R=f(_SH_RXD).

В действительности, как это позднее и показал Халл (1952), потенциал этот зависит также и от других факторов. Халл выразил потенциал реакции следующим уравнением: _SE_R=f(DXV_iXКX_SH_R), где наряду с интенсивностью потребности и интенсивностью связи представлены также интенсивность раздражителя и мотивационная значимость (valeur motivante) объекта, применяющегося в качестве подкрепления.

В то же время выполнение реакции оказывает антагонистическое действие на потенциал возбуждения. В процессе выполнения реакции возникает торможение, непосредственное и опосредствованное (условное) этой же самой реакции. Возникающий таким образом потенциал торможения I_R увеличивается при возрастании количества работы, затраченной на определенный вид реакции, при увеличении числа и плотности повторений; при прекращении реакции этот потенциал постепенно ослабляется. Чтобы получить эффективный потенциал возбуждения или реакции, нужно вычесть из потенциала возбуждения потенциал торможения; следующая формула дает возможность предсказать уровень исполнения:

г) Концепция Халла является, несомненно, самой точной и систематической из всех концепций, в которых была сделана попытка объяснить научение на основе образования связей между раздражителями и ответами посредством одного общего процесса подкрепления, обусловливающего ослабление потребности.

Эта концепция является более всеобъемлющей, чем концепция Торндайка. С одной стороны, она распространяется, как мы уже видели, на все факты научения, от обусловливания до избирательного научения, осуществляющегося путем "проб и ошибок"; с другой стороны, процесс ослабления потребности позволяет понять влияние положительного и отрицательного эффекта: в обоих случаях происходит ослабление уровня напряжения организма либо путем положительной реакции приближения и потребления, либо путем отрицательной реакции избегания какого-либо объекта-раздражителя.

1) Эта концепция обладает, однако, довольно серьезными недостатками. Прежде всего, как и в концепции Торндайка, нелегко понять действие подкрепления на интенсивность связи. Почему и каким именно образом ослабление потребности приводит к усилению существовавшей ранее связи между раздражителем и ответом? Механизм такого подкрепления никак не уточняется ни с физиологической, ни с психологической точки зрения.

Этот механизм особенно трудно понять, если считать единственным условием его действия смежность во времени между связью и ослаблением потребности. Однако весьма очевидно, что одного этого условия недостаточно для понимания закономерностей образования и закрепления связей: далеко не всякая связь, сопровождающаяся ослаблением потребности, образуется и закрепляется; образуются и закрепляются лишь такие связи, при которых ответная реакция, прямо или опосредствованно, приводит к ослаблению потребности. Торндайк понимал эту трудность и пытался от нее избавиться, вводя фактор сопринадлежности связи и эффекта; у Халла исчезло даже само это понятие.

2) С другой стороны, закон частоты, связывающий интенсивность связи с количеством подкреплений, подтверждается далеко не всегда. Что касается интенсивности обусловливания и стойкости к угашению, то отмечается, например, что частичное, или прерывистое, подкрепление очень часто дает лучшие результаты, чем подкрепление постоянное (Хэмфрис, 1939, 1940, 1943; Фингер, 1942; Маурер и Джонс, 1945; Шеффилд и Теммер, 1950. См. также Дженкинс и Стенли, 1950; Льюис, 1960). Установлено также, что при применении неприятных или вредных (Соломон и Уинне, 1954) раздражителей достаточно устойчивые условные реакции избегания образуются уже после нескольких подкреплений, сопровождающихся ослаблением потребности.

3) Факты латентного научения свидетельствуют о том, что образование связи, по-видимому, возможно и без подкрепления, приводящего к ослаблению потребности. Были описаны различные факты подобного рода. Блоджет (1929), Толмен и Хонзик (1930), а также Рейнолдс (1945) установили, что крысы, не получавшие во время нескольких проб пищи в конце лабиринта, не проявляли никакого заметного отставания в формировании навыка (судя, например, по количеству проб, необходимых для правильного прохождения лабиринта, или по среднему количеству ошибок) по сравнению с крысами, получавшими пищевое подкрепление при выходе из лабиринта. Разумеется, вначале выработка навыка не проявляется или почти не проявляется без пищевого подкрепления, но, когда навык образовался, кривые научения двух групп сближаются и становятся очень похожими (см. рис. 9).

Рис. 9. (По Блоджету, 1929)

Следовательно, во время проб без подкрепления, приводящего к ослаблению потребности, мы имеем дело с научением, то есть с образованием связей (однако возможно, что это будут не связи раздражителя с ответом).

Другие экспериментаторы ( Мил и Мак-Коркодейл, 1948; Тистлтвейт, 1951, 1952; Уолкер, 1952; Бендиг, 1952; Джонсон, 1952; Нортон и Кенсхало, 1954) заметили, что в аппарате с простым выбором (Т-образный лабиринт с выходом в 2 отсека) животным совсем нетрудно (при соответствующей мотивации) адаптировать свое поведение (выбор определенного направления) к наличию какого-либо объекта в одном из отсеков, в то время как предыдущие пробы осуществлялись без всякой мотивации по отношению к данному объекту и даже вообще без какой бы то ни было явной мотивации.

Здесь также налицо выбор и закрепление реакции без предварительного, приводящего к ослаблению потребности подкрепления случайно возникающей связи между этой реакцией и вызывающими ее раздражителями.

4) Процесс вторичного подкрепления также является одним из слабых мест этой теории. Такой процесс предполагает, очевидно, существование ассоциативной связи между ослаблением потребности и более или менее совпадающей с ним стимулирующей ситуацией. Следовательно, предполагается существование нового типа связи, существенно отличающегося от типа S - R и близкого к типу S - S (если ослабление потребности можно уподобить источнику раздражения), образующегося, однако, без подкрепления, если только допустить, что ослабление потребности является одновременно одной из конечных целей и подкрепляющим агентом связи. По существу, закон вторичного подкрепления лишь декларируется, механизм его действия не раскрывается.

В) Спенс (1956, 1960), которого можно считать одним из главных современных сторонников концепции Халла, расходится с последним, по крайней мере частично, в понимании подкрепляющего агента. Спенс определяет его эмпирически, как фактор, сопутствующий реакции и увеличивающий вероятность ее появления. Такой фактор предполагает, разумеется, существование потребности в организме, но не обязательно процесс ослабления этой потребности.

Подкрепляющий агент не влияет, однако, на формирование навыка (Н), как такового, а лишь определяет интенсивность эффективного потенциала возбуждения (Е) посредством мотивационной значимости объекта-цели (К) по формуле Е=НX(D+К)-I, где фактор К зависит от количества опытов с объектом-целью, от длины цепи ответов и времени отставления подкрепления.

Спенс отмечает, однако, что когда речь идет о неприятном или вредном раздражителе, то ослабление потребности играет весьма существенную роль и при классическом и при инструментальном обусловливании.

Г) Статистическая, или стохастическая, теория научения. Помимо концепции Халла, можно упомянуть попытки интерпретировать научение с помощью стохастических, то есть учитывающих вероятность появления определенных событий, процессов.

Стохастические модели научения были, в частности, предложены Эстесом (1950, 1959), Бушем и Мостеллером (1955), Джонхиром (1959).

Эти модели принимают, как правило, схему научения, рассматриваемого в терминах связи раздражителя и ответа, но наряду с этим, по крайней мере у первых из названных авторов, предполагают "молекулярное" или "атомистическое" понимание явлений научения.

Эстес, так же как Мостеллер и Буш, считает, например, что различные аспекты или элементы ситуации могут независимо друг от друга выполнять функцию раздражителя, то есть вызывать определенный тип ответной реакции: при каждой пробе или предъявлении экспериментальной ситуации определенные элементы этой ситуации становятся раздражителями и связываются с ответной реакцией по закону "все или ничего". Вероятность ответа увеличивается в зависимости от повторения ситуации, потому что все большее число элементов ситуации начинает связываться с данным ответом; именно в этом систематическом изменении вероятности возникновения определенного ответа и заключается научение.

Но поскольку в данной ситуации число элементов, способных становиться раздражителями и, следовательно, связываться с определенной реакцией, уменьшается как функция частоты предъявления ситуации, то наблюдается прогрессирующее уменьшение при каждой последующей пробе вероятности появления ответа, получается "возрастающая" функция (аналогичная предложенной Халлом), определяемая из следующего основного уравнения p_n+1=р_n+θ(1-р_n), где θ - константа пропорциональности, варьирующая в пределах от 0 до 1 и выражающая вероятность связи между различными элементами стимула (предполагается, что вероятность связи между различными элементами одинакова), n - порядковый номер пробы, так как Δр=θ(1-р).

Необходимым условием образования связи между элементами стимула и ответной реакцией является, конечно, смежность этих двух явлений: как и в концепции Газри, чтобы стать возбудителем ответа, агент физической среды должен предъявляться в момент осуществления данной ответной реакции.

Но эти новые связи требуют также и определенного условия подкрепления. В отличие от Мостеллера и Буша, которые в 1955 году ввели в основное уравнение, определяющее вероятность возникновения ответа, два дополнительных параметра (один из этих параметров учитывает положительное влияние вознаграждения, другой - отрицательное влияние наказания или расхода энергии при выполнении ответной реакции), Эстес в своих первых работах упоминает лишь об одном условии - смежности. В своих позднейших работах, и особенно в исследовании, опубликованном в 1959 году, Эстес также обращается к фактору подкрепления. Характер этого последнего он не уточняет, как, впрочем, и характер раздражителей и ответных реакций. Подкрепление - это совпадающий с реакцией или следующий за ней фактор, увеличивающий вероятность появления ответа, поэтому он должен учитываться в уравнении, определяющем вероятность возникновения реакции. Эстес (1959, стр. 460), по-видимому, отождествляет подкрепление с системой раздражитель - ответ, характеризующейся двумя условиями: во-первых, ответы, вызываемые стимулами этой системы, не должны интерферировать с ответами, вероятность которых пытаются определить, и, во-вторых, действие стимулов этой системы должно прекращаться сразу же после завершения данной ответной реакции. Другие авторы (Буш и Мостеллер, 1955; Джонхир, 1959), очевидно, связывают подкрепление с результатами, и особенно - например, при решении какой-либо задачи испытуемым - с успехом реакции (совпадением результатов с заранее запланированными).

Эти статистические интерпретации без всяких поправок могут быть применены к серийному научению: последовательному различению, ситуациям лабиринта, двигательным реакциям, заучиванию вербальных рядов, состоящих из слогов, слов и т. п. Однако возникают существенные затруднения при применении этих статистических интерпретаций к более сложным явлениям научения, и в частности к тем случаям, когда целостную ситуацию нельзя разложить на отдельные изолированные элементы или аспекты, способные в качестве самостоятельных раздражителей вызывать, определенную форму реакции.