3. Об устойчивости систем психологодиагиостики и прогнозирования

Реальная эффективность, достигаемая при приложении УМЛР для решения прикладных задач диагностики или прогноза, часто оказывается значительно ниже той, которую можно было бы ожидать по значению КМК, полученному по данным основополагающего исследования. Снижение эффективности УМЛР можно объяснить тем, что подвергающаяся испытаниям группа индивидов по своим усредненным характеристикам, а также по условиям деятельности не вполне адекватна выборке исследовательского этапа, причем характер и степень различий между ними фактически не известны. Следствием этого является несовпадение, во многих случаях весьма существенное, значений аналогичных коэффициентов корреляции, полученных по разным выборкам. Опыт показывает, что системы психологодиагностики и прогнозирования, отработанные параллельно на нескольких различных выборках сходного состава, часто приводят к УМЛР, заметно различающимся как по составу определяющих их переменных, так и по численным коэффициентам при одинаковых компонентах.

Указанные трудности усугубляются тем, что отработка рассматриваемых систем обычно представляет собой длительный процесс. Например, формирование системы прогнозирования успешности обучения абитуриентов ВУЗа требует времени, не меньшего периода обучения одного набора. За это время может заметно измениться состав исходной выборки вследствие отсева по неуспеваемости и по другим причинам. Неизбежно исключается и столь важная для общего анализа группа лиц, не принятых в ВУЗ по результатам начального отбора (вступительных экзаменов, психофизиологических испытаний и т. д.). Из-за неоднородности, слабой сопоставимости и трудности сбора данных, характеризующих успешность практической деятельности выпускников ВУЗа, обычно приходится отказываться от использования наиболее эффективного внешнего критерия и ограничиваться менее надежными показателями конечных результатов обучения.

Таким образом, используемые для отработки системы прогнозирования выборки оказываются по своему составу недостаточно представительными, исходные данные - неполными, внешний критерий неполноценным. Следует также учесть, что за период формирования разрабатываемой системы неизбежно изменяются обстоятельства жизни и обучения новых контингентов испытуемых (абитуриентов), объекты и условия деятельности выпускников ВУЗа. Кроме всего, выборка этапа исследований и испытуемые выборки часто не удовлетворяют и требованию случайного отбора, в ряде случаев они представляют собой уже сформировавшиеся коллективы, усредненные характеристики которых определяются не только индивидуальными особенностями их членов, но и установившимися в данных коллективах своеобразными микроклиматами. В силу отмеченных различий между указанными выборками каждую из них следовало бы полагать самостоятельной генеральной совокупностью, а закономерности, обнаруженные в результате математико-статического исследования, считать справедливыми лишь в пределах этой совокупности.

С целью выявления особенностей разброса характеристик "неслучайных" выборок, которые формально относят к одной и той же генеральной совокупности, нами был проведен следующий эксперимент. В трех аналогичных подразделениях одной системы спецобучения, каждое из которых состояло из 80-90 человек, все учащиеся были подвергнуты проверке по 15 признакам физического развития и физической подготовленности и между каждым из этих признаков и показателем общей успешности практического обучения, отдельно по подразделениям, были рассчитаны коэффициенты корреляции. На рисунке вертикальными отрезками прямых показаны крайние пределы изменения указанных коэффициентов корреляции для различных признаков. Оказалось, что наиболее резко отличающиеся коэффициенты корреляции отвечают в основном двум подразделениям - П1 и П3. Соответствующие значения соединены ломаной линией. Мы видим, что для подразделения П1 (верхняя линия) большая часть коэффициентов корреляции признаков с критерием успешности оказалась весьма высокой, достигая уровня 0,3-0,5, тогда как для подразделения П3 (нижняя линия) аналогичные коэффициенты корреляции - более низкие, иногда даже отрицательные (для подразделения П2 большинство коэффициентов корреляции имеет промежуточное значение). Мы не будем здесь касаться изменения коэффициентов корреляции причин этих различий, отметим лишь, что если бы система прогнозирования успешности практического обучения создавалась по результатам исследований одной из выборок П1 или П3, то эта система оказалась бы мало устойчивой, т. е. практически несостоятельной.

Пределы изменения коэффициентов корреляции по разным признакам

К сожалению, проблема устойчивости результатов многомерного корреляционного анализа не получила еще достаточного теоретического обоснования. В общих чертах вопрос сводится к тому, что отбираемые для целей диагностики или прогнозирования признаки и методики испытаний, помимо ряда требований, рассмотренных выше, должны обязательно удовлетворять требованию устойчивости, т. е. они должны базироваться преимущественно на относительно консервативных (инвариантных) свойствах личности. Об устойчивости признаков или применяемых методик можно, по-видимому, судить по степени повторяемости вида распределений результатов, общих параметров, надежности и эффективности (валидности) при параллельном и последовательном (со сдвигом во времени) испытании нескольких достаточно крупных и независимых выборок из одной и той же генеральной совокупности (о представительности выборок говорить не будем, поскольку не всегда ее удается обеспечить). Так из рис. видно, что для рассмотренной выше учебной системы существуют отдельные признаки, которые показывают, примерно одинаковые и достаточно высокие коэффициенты корреляции с критерием успешности для всех трех учебных подразделений. Следовательно, принцип многократной проверки должен строго соблюдаться при отработке и отборе всех исследуемых признаков и методик испытаний.

Подобным же образом, посредством обследования нескольких крупных выборок сходного состава, по степени постоянства КМК должна проверяться общая устойчивость УМЛР, определяющая устойчивость и надежность всей разрабатываемой системы психологодиагностики или прогнозирования.