§ 2. Инструментальное обусловливание

А. Первый и второй типы условных реакций

Одновременно с расширением возможностей классической павловской методики обусловливания, о которой мы говорили выше, происходило развитие по другому пути. Павловские методы анализа и открытые им законы послужили моделью для объективного изучения других видов приобретенных преобразований.

Миллер и Конорский (1928) первыми провели серию экспериментов, результатом которых были важные открытия. Отправным пунктом их исследований был хорошо известный факт, что двигательная реакция животного имеет тенденцию к повторению, если она ведет к удовлетворению, и, напротив, имеет тенденцию к исчезновению, если ведет к трудной или неприятной для организма ситуации. Эксперименты Торндайка с особой силой подчеркнули этот факт, впрочем хорошо известный дрессировщикам. Миллер и Конорский использовали классическую экспериментальную ситуацию пищевого обусловливания: они искусственно вызывали у стоящей в станке собаки движение сгибания, пассивно поднимая ее лапу; они сопровождали это движение предъявлением пищи и констатировали, что после определенного числа сочетаний животное начинает сгибать лапу спонтанно; если по-прежнему сопровождать это движение предъявлением пищи, оно становится все более частым и быстрым. Миллер и Конорский сделали вывод, что предъявление пищи служит подкреплением движения сгибания.

Однако можно также провести эксперимент по-другому: если после каждого пассивного сгибания конечности вводить в рот животного не мясо, а кислоту или подвергать его любому другому раздражению, вызывающему безусловную оборонительную реакцию, то животное будет оказывать сопротивление спровоцированному движению; собака начинает производить противоположное движение, а именно разгибание лапы, чтобы избежать ее сгибания; в этом случае можно говорить по отношению к сгибанию об отрицательном подкреплении, ведущем к исчезновению реакции.

Следует отметить, что в обоих только что приведенных примерах вырабатывался также классический условный рефлекс (пищевой или оборонительный), как и в павловской ситуации. Если перед сгибанием лапы предъявлять животному сигнал (например, звонок) (Этот сигнал не является совершенно необходимым; в его отсутствие ?сама ситуация в целом становится условным раздражителем), то после нескольких проб, подкрепленных пищей, звонок oбудет вызывать одновременно движение лапы и слюноотделение. Однако эти две реакции характеризуются различными признаками, которые Конорский (1948) резюмирует следующим образом.

а) При выработке слюнной, как и любой другой, условной реакции в соответствии с павловской схемой условная реакция идентична безусловной реакции, на основе которой она вырабатывается; возможно, это утверждение не имеет абсолютного значения, однако, если даже и существуют различия между условной и безусловной реакциями, они незначительны и основным остается замена раздражителя, вызывающего реакцию; напротив, в эксперименте Миллера и Конорского и во всех аналогичных случаях подкрепляемый раздражитель и ответная реакция отличаются от подкрепляющего раздражителя и его ответной реакции; между ними может не быть никакого сходства, и при пищевом подкреплении вполне возможно выработать реакцию, не имеющую никакого отношения к еде.

б) В классическом обусловливании не проводят различия между подкреплениями разной природы и, следовательно, между самими условными реакциями; напротив, в экспериментах Миллера и Конорского важно знать, является ли подкрепление положительным (пища), при котором частота и сила движения увеличиваются, или отрицательным (кислота), вызывающим в таком случае исчезновение реакции и появление противоположной ответной реакции.

в) В обусловливании павловского типа ответом может быть любая реакция организма, автономная (как слюноотделение) или соматическая (как оборонительная двигательная реакция); напротив, новые условные реакции могут быть, по-видимому, только соматическими, и эта последняя особенность сближает их с "произвольными" движениями.

Все это побудило Миллера и Конорского различать"два типа условных рефлексов. К первому типу относятся условные рефлексы, которые изучал Павлов; ко второму типу - реакции, которые изучали Миллер и Конорский. Образование условной реакции второго типа осуществлялось у Миллера и Конорского очень часто с первого же опыта. Вначале экспериментаторы поднимали лапу собаки с помощью привязанной к лапе и перекинутой через блок веревки; но поскольку возникло опасение, что при такой технике можно поранить животное и в этом случае реакция будет оборонительной, экспериментаторы стали сгибать лапу животного рукой и затем предлагали ему пищу; такая процедура напоминает хорошо известное обучение собаки "давать лапу" и является прототипом любой дрессировки. Однако такая методика ставит следующую проблему: является ли "пассивное", то есть вызванное экспериментатором чисто механическим путем, движение животного источником условной реакции? Этот вопрос еще и поныне остается открытым, хотя есть известные основания считать, что чисто пассивное движение не может само по себе вызвать условную реакцию (В таком случае можно предполагать, что механически провоцируемое сгибание лапы вызывает проприоцептивный рефлекс (Шеррингтон) и именно он-то и становится условным).

Поставленная здесь проблема имеет один более общий аспект: это проблема первого выполнения реакции, которая должна стать условной. Очевидно, что, поскольку подкрепляется (то есть сопровождается положительной или отрицательной стимуляцией) реакция, а не раздражитель, необходимо, чтобы животное, по крайней мере один раз, выполнило эту реакцию, когда она не стала еще условной; но как в таком случае может возникнуть эта первая реакция? В этом отношении, помимо механически вызванного движения, существует множество других возможностей.

Б. Опыты Скиннера

Скиннер помещал голодную мышь в совершенно изолированный от внешних раздражений ящик; в этом ящике находился рычаг, приводящий в действие механизм, вызывающий появление пищевого шарика в кормушке, расположенной на внутренней стенке ящика. В начале эксперимента ничто не побуждало животное нажимать на рычаг; таким образом, могло пройти довольно много времени, прежде чем происходила первая реакция, она появлялась только "случайно", то есть в ходе спонтанного и хаотичного поведения животного, состоящего в том, что оно передвигалось по ящику, карабкалось на стенки и т. д. Как только выполнялась эта первая реакция, она сопровождалась предъявлением пищи - следовательно, положительным подкреплением. Вторая, третья и последующие реакции нажатия на рычаг тоже подкреплялись. В эксперименте Скиннера появление каждой реакции автоматически регистрировалось, и было установлено, что они становятся все более частыми: интервал между ними постепенно сокращался, и спустя некоторое время животное переставало нажимать на рычаг лишь для того, чтобы поглотить пищевой шарик, появление которого оно вызывало. Реакция отныне становится условной.

"Ящик Скиннера" стал классической ситуацией экспериментов на обусловливание, и автор впоследствии (1938) детально изучил возможности, которые он открывает. Анализируя процесс выработки реакции нажатия на рычаг в этих условиях, Скиннер (1938) пришел к выводу, что речь в данном случае шла именно об обусловливании; в то же время, и независимо от Миллера и Конорского, он пришел к заключению, что существует два типа обусловливания. Хилгард и Маркие (1940) дали этому второму типу обусловливания название инструментального (Скиннер использовал для второго типа обусловливания (первого в его классификации) термин "оперантный". Но это название предполагает (как противоположность "респондентному" поведению) более сложное различение между реакциями, которые возникают в ответ на вызывающий их раздражитель, и реакциями, которые "вызываются" спонтанно. Мы считаем, что это различие, хотя и представляет известный интерес, не покрывает различия, существующего между классическим и инструментальным обусловливанием. Доказательством тому служит тот факт (описанный ниже), что явно респон-сивные, согласно классификации Скиннера, реакции (безусловные реакции), также могут быть "инструментализированы"), чтобы отличать его от классического обусловливания павловского типа; к различиям, уже отмеченным Миллером и Конорским, они прибавили еще одно, а именно: в инструментальном обусловливании подкрепление зависит от выполнения ответной реакции, тогда как в классической ситуации подкрепление (безусловный раздражитель) дается во всех случаях независимо от того, выполняется условная реакция или нет. Эта зависимость между реакцией и подкреплением, очевидно, лучше всего характеризует инструментальную ситуацию. Как мы видели, эксперимент Скиннера представляет собой один из возможных случаев появления реакции, которая должна стать условной, а именно случай, когда такая реакция возникает "спонтанно" и "случайно". Разумеется, эта случайность не является абсолютной. Необходимо прежде всего, чтобы эта реакция относилась к числу привычных реакций животного и, кроме того, имела хотя бы один шанс возникнуть в данной ситуации; в этом отношении немалую роль играет состояние голода (а также изоляции), вызывающее более или менее значительную активность животного. Однако существуют и другие возможности выработать условные реакции на основе реакций, вызванных вначале иным путем.

Одно из таких средств состоит в том, чтобы "инструментализи-ровать" безусловные рефлексы, причем даже "сложные". Так, можно вызвать безусловную реакцию чесания, вкладывая вату в ухо кошки; если сопровождать возникающее чесание предъявлением пищи, эта реакция начинает появляться все чаще и чаще, и частота ее значительно превосходит частоту безусловных реакций (Торндайк был первым, кто заметил, что можно использовать естественные движения чесания или облизывания у кошки или собаки, превращая их в средство, с помощью которого животное добивается открытия ящика, в котором оно заперто); более того, она возникает в отсутствие безусловного раздражителя; безусловная реакция становится таким образом условной. Советские исследователи аналогичным образом использовали реакции отряхивания (у намокших собак), чихания, лая, зевания и т. д. Однако, по-видимому, первоначальная реакция воспроизводится не полностью; условная реакция имеет тенденцию переходить в зачаточную и даже "мнимую" форму безусловного движения (Янковска и Солтысик, 1960).

Еще одним средством получения первой реакции, на основе которой можно выработать условную реакцию, является использование прямого электрического раздражения соответствующих точек коры; этим путем вызывается осуществление двигательного акта, который можно затем сопровождать предъявлением пищи (Лоукс, 1935). В некоторых условиях (Эти условия еще только изучаются. Отметим поэтому лишь то, что в некоторых случаях движение, полученное в результате раздражения электрическим током, не может стать условным) вызванное таким образом движение в свою очередь может быть "инструментализировано"; после определенного числа проб оно происходит в таком случае спонтанно, без всякой электрической стимуляции.

Одним словом, условия возникновения первой реакции не имеют большого значения: движения, вызванные механическим путем, спонтанная активность, безусловные реакции (или ранее выработанные условные реакции), ответные реакции на прямое раздражение электрическим током в равной степени могут стать условными. Важно только сопровождать первую реакцию, каким бы образом она ни была получена, положительным подкреплением, чтобы постепенно увеличить ее частоту, силу и скорость. Можно воспользоваться теми же самыми примерами и показать, что с помощью отрицательного подкрепления можно добиться того, что реакция постепенно будет становиться все более редкой, медленной и слабой, а затем и вовсе исчезнет. Во всех этих случаях, но не обязательно, можно использовать дифференциальный условный раздражитель; иначе говоря, можно давать подкрепление только в том случае, когда реакции предшествует определенный сигнал; этот сигнал в таком случае становится способен один вызывать реакцию, и эта последняя в конце концов, по крайней мере у организмов, наделенных достаточной способностью различения, не возникает в его отсутствие. Однако можно также не применять никакого особого сигнала, и в этом случае сама ситуация в целом является условным раздражителем.

В. Оборонительные условные реакции избавления (d'echappement)

Как мы отметили выше, при инструментальном обусловливании необходимо определить значение подкрепления: последнее, если оно положительное, делает реакцию более вероятной и более сильной, в таком случае часто говорят о вознаграждении. Напротив, реакция становится все слабее, а затем и вовсе исчезает, если она сопровождается отрицательным подкреплением, последнее можно обозначить как наказание.

Но действие наказания не всегда состоит в том, чтобы устранить реакцию. Допустим, мы прикрепляем электрод к определенному участку кожи собаки (например, к уху) и пропускаем электрический ток, достаточно сильный, чтобы вызвать болезненное раздражение, в таком случае можно решить прекратить раздражение сразу после того, как животное совершит определенное движение, например согнет правую заднюю лапу. Если действовать таким образом, то довольно скоро собака будет сгибать лапу, как только начинается электрическая стимуляция. В этом случае опять-таки наблюдается известный нам процесс научения: реакция постепенно становится все более частой, быстрой и сильной вплоть до того момента, когда она достигнет своего максимума. Аналогичный эксперимент был проведен с крысами, помещенными на решетку, по которой пропускался электрический ток: прыгая, например, на изолированный помост, крысы могли прекратить неприятную стимуляцию. Этот вид обусловливания, являющийся весьма эффективным, был назван обусловливанием избавления, поскольку он позволял избавиться от неприятной стимуляции.

При анализе этой разновидности условных реакций их можно отождествить с инструментальными условными реакциями, выработанными с помощью вознаграждения, или, напротив, можно рассматривать голод как неприятную стимуляцию, которой кладет конец, по крайней мере частично, предъявление пищи. И в том, и в другом случае инструментального обусловливания можно считать, что условная реакция вырабатывается на основе существования определенной потребности (голода в одном случае, боли в другом) и что ослабление этой потребности играет решающую роль в подкреплении условной реакции (Халл, 1943). В самом деле, многочисленные эксперименты показали, что можно выработать условные реакции на основе различных потребностей (голод, жажда, сексуальные потребности, исследовательские тенденции или "любопытство", боль или неприятные ощущения и т. д.).

С этой точки зрения можно резюмировать четыре возможные процедуры инструментального обусловливания в следующей таблице.

Таблица I

(Р = раздражитель (или ситуация); Д = движение; - = сопровождаемое; -> = вызывает ∼ = отсутствие (по Конорскому, 1948))

Как мы видим, процедуры 1 и 2 схематизируют описанные вначале эксперименты Миллера и Конорского или Скиннера (с вознаграждением или наказанием); процедура 4 - процедуру выработки реакции избавления. Мы не описали процедуру 3, которая установлена ради симметрии; она также получила подтверждение, но не представляет большого экспериментального интереса (Это, так сказать, не типичная процедура угашения). В целом эта таблица дает довольно общий обзор основных форм образования инструментальных условных реакций. Однако она оставляет без внимания одну форму таких реакций, практическое и теоретическое значение которой огромно.

Г. Условная реакция избегания (d'evitement)

Мы можем описать ее, исходя из ситуации, аналогичной предыдущей, то есть когда после определенного сигнала, например звонка, животное подвергают удару электрического тока; сигнал и электрическое раздражение разделены интервалом, скажем в 5 сек. Однако на этот раз эксперимент задуман таким образом, что если собака делает определенное движение до включения тока, то он не дается, следовательно, реакция позволяет животному избежать наказания, а не только прекратить его, избавиться от него. Эксперименты показывают, что в этих условиях научение происходит довольно легко. Трудность, очевидно, и в данном случае состоит в первом появлении реакции, которую нужно сделать условной. Однако если выбрать и подкрепить одну из привычных реакций животного, которые не являются очень редкими, то реакция при ограниченном числе подкреплений прочно приобретает условный характер: отныне, как только предъявляется условный раздражитель, животное сгибает лапу (если было выбрано именно это движение) и, таким образом, никогда не получает удара электрического тока.

Именно этот последний факт поднимает серьезные проблемы. Как мы покажем ниже более подробно, если условная реакция перестает подкрепляться, она исчезает, угасает. Однако мы видим, что условная реакция избегания может сохраняться в течение множества проб без подкрепления: животное выполняет реакцию и никогда не получает наказания. Если модифицировать ситуацию и уничтожить всякую возможность наказания животного, оно тем не менее продолжает реагировать: допустим, мы выключили электрический ток, так что, даже если собака не согнет лапу, она не получит удара электрического тока; однако в поведении животного не произойдет никакого изменения; животное, следовательно, не в состоянии "заметить" изменения ситуации. Эта особенность условной реакции избегания положила начало ряду исследований. Разные авторы (Конорский, 1948; Миллер, 1948; Маурер, 1960) высказали предположение, что условные реакции избегания основаны на двояком процессе. Во-первых, по-видимому, вырабатывается условный рефлекс страха; безусловная реакция, вызванная ударом электрического тока (или любым неприятным раздражителем), после нескольких проб будет вызываться сигналом, предшествующим этому удару, в форме условной реакции страха; это последнее состояние составляет в таком случае мотивацию, потребность, на основе которой может выработаться двигательная реакция, способная ее ослабить. Эта схема получила многочисленные экспериментальные подтверждения.

Изучалось также (Солтысик и Ковальска, 1960; Солтысик, 1960) параллельное изменение условной сердечной реакции (учащение сердцебиения) и двигательной условной реакции в ходе выработки условной реакции избегания у собаки; подкрепляющим раздражителем служил электрический ток, условным раздражителем был звонок, а подкрепленной реакцией - разгибание лапы. Результаты выявили связь между учащением сердцебиений, которое можно рассматривать как индикатор состояния страха, и двигательной реакцией. Рис. 2 показывает связь между латентным периодом реакции избегания и ускорением сердечного ритма; реакция избегания появляется только в тот момент, когда частота сокращений сердца достигает определенного уровня. Авторы нанесли на график отдельно предъявления, при которых латентный период реакции избегания был равен примерно 2 сек (круги), и те, для которых он составлял примерно 5 сек (треугольники). Все эти результаты относятся к одной и той же собаке. Помимо указанной связи, можно заметить, что после инструментальной условной реакции возникает отчетливое уменьшение частоты сердечных сокращений; этот факт, по-видимому, подтверждает предположение Конорского о том, что результатом реакции избегания является торможение оборонительного возбуждения (страха).

Рис. 2. Связь между латентным периодом реакции избегания и ускорением сердечного ритма (по С. Солтысику и М. Ковальской, 1960, стр. 162). Реакция избегания возникает только тогда, когда сердечный ритм достигает примерно ПО ударов в мин. Здесь на одном и том же графике представлены две группы предъявлений, отличающихся друг от друга латентным периодом реакции избегания: примерно 2 сек и 5 сек; латентный период, обозначенный прямоугольниками на оси абсцисс, соответствует также длительности условного раздражителя (заканчивающегося реакцией избегания). Последняя обозначается вертикальной линией. Сердечный ритм высчитан в интервале 3 сек

Рис. 3 показывает связь между сердечной и двигательной реакциями в ситуации "угашения" (Речь идет фактически о ситуации дифференцировки, поскольку существует другой условный раздражитель, который по-прежнему подкрепляется. Однако это уточнение не имеет в данном случае особого значения). Видно, что условная реакция избе гания исчезает почти сразу же после того, как частота сердечных сокращений падает ниже уровня 110-115 в минуту, который соответствовал также появлению условной реакции при выработке ее у той же самой собаки.

Рис. 3. Угашение рефлекса избегания у собаки (по С. Солтысику, 1960, стр. 176). Каждый кружок соответствует максимальному показателю сердечного ритма (интервал 3 сек). Черные кружки обозначают те предъявления, при которых наблюдалась реакция избегания, белые кружки - те предъявления, при которых такие ответы не возникали. Горизонтальная пунктирная линия обозначает частоту сердцебиений (110 в мин), при которой появляется условная реакция на положительный раздражитель

Следовательно, это служит подтверждением существования тесных связей между классической условной реакцией (учащение сердечных сокращений) и инструментальной (движение лапой) внутри однородной, на первый взгляд условной реакции: можно считать, что первая - или состояние, выражением которого она является, - играет роль одного из звеньев при выработке второй.

Анализ этой, как может показаться поначалу, простой и распространенной ситуации позволяет, таким образом, получить представление о сложности процесса обусловливания.