Метод расчета прогностических коэффициентов | Statyx.ru Статистическая обработка данных в пакете SPSS

Метод расчета прогностических коэффициентов

Как рассказывалось на прошлом занятии, процедура последовательного анализа Вальда  позволяет разделить весь континуум тестовых результатов на три зоны прогноза:

  • зону, которая дает положительный прогноз успешности деятельности
  • зону, которая дает отрицательный прогноз успешности деятельности
  • зону, которая дает неопределенный прогноз успешности деятельности.

Каждая из этих зон выдает свои прогнозы с определенной степенью надежности, т.е. имеет определенный процент ошибочности в прогнозировании успешности профессиональной деятельности.  Чем меньше процент ошибочных прогнозов, которые делаются при попадании индивидуальных результатов в эту зону, тем ценнее считаются ее заключения.  Если же прогностическая зона выдает много ошибочных прогнозов, то ее прогностическая ценность считается невысокой. Чтобы выразить прогностическую ценность (надежность прогнозов) какой-то зоны в количественном выражении, применяются такие показатели, как «прогностические коэффициенты» или как их еще называют «прогностические баллы».

Прогностические баллы (коэффициенты) очень важны для системы профотбора, т.к. при получении первичного результата по любому из психологических тестов его переводят в прогностический балл, который свидетельствует о том, какой прогноз в плане профессиональной успешности можно сделать по полученному результату. Иными словами, все тестовые результаты переводятся в специальную балльную систему, где баллы обозначают степень успешности будущей деятельности.

При этом баллы, которые свидетельствуют об отрицательном прогнозе, имеют знак «минус», а баллы, работающие на положительный прогноз – знак «плюс». При суммировании прогностических баллов, полученных по всем тестам, применяемых при  профотборе,  эти знаки обязательно учитываются, т.е. отрицательные баллы вычитаются из положительных баллов.

Рассмотрим способ расчета прогностических коэффициентов на конкретном примере. Предположим, Вас попросили рассчитать их для  теста, который применяется в системе профотбора космонавтов. Для этого Вам потребуется сначала разделить континуум тестовых результатов на три зоны прогноза, а затем по приведенной далее формуле рассчитать прогностические коэффициенты (баллы).

Взятый для примера тест оценивает зрительную память – функцию, играющую важную роль в работе космонавта. Высокие баллы, набранные в тесте, означают наличие высоко развитой зрительной памяти и, наоборот, чем ниже результаты данного теста, тем хуже зрительная память. Результаты, полученные при обследовании группы космонавтов по данному тесту, приведены в таблице 5. Там же представлены сведения о том, в скольких случаях были получены положительные и отрицательные оценки профессиональной деятельности космонавтов от проверяющих инструкторов. Теперь перед вами встает задача: определить, где следует провести  границы зоны, работающей на прогноз успешной деятельности?

Начнем поиск этих границ чисто эмпирическим путем, т.е. путем последовательного перебора возможных вариантов, как это предлагается делать по процедуре Вальда. Сначала возьмем самый верхний диапазон значений, а затем последовательно будем его расширять, пока не найдем, где уровень ошибочности достигает 5%.  Для наглядности желательно отражать результаты своих расчетов  в отдельной таблице.

Таблица 5

Выбранный диапазон значений Количество всех прогнозов Число совпавших прогнозов Число не совпавших прогнозов Процент ошибки  I-го рода
20-16 36 35 1 3%
20-15 46 43 3 6%
10-14 57 53 4 7%
20-13 69 64 5 7%

Итак, по мере того, как к высокой зоне значений от 20 до 16 баллов, мы добавляли ниже стоящие значения: 15 баллов, затем 14 баллов и далее 13 баллов, наблюдался рост процента ошибочности прогноза. Поскольку не удалось выделить то тестовое значение, при котором изучаемый диапазон достигает 5% уровня ошибочности, то в подобных случаях поступают двояко в зависимости от избытка или дефицита кандидатов (кадров) при профотборе. Если имеется избыток кадров при профотборе, проводят нижнюю границу зоны положительного прогноза на уровне 3% («ужесточение» критериев отбора), т.е. в диапазон  включают значения результатов от 20-ти до 16-ти баллов. Если наблюдается существенный дефицит кадров, то проводят границу на уровне 6% («смягчают» критерии отбора, хотя при этом риск принять непригодного человека немного возрастает), т.е. в диапазон включают значения результатов от 20-ти до 15-ти баллов.

Теперь нам предстоит определить границы зоны значений, которая надежно работает на отрицательный прогноз (неуспешность деятельности). Надо помнить, что ошибочность отрицательного прогноза допустима на уровне 10%. Поэтому, взяв сначала узкую полоску самых низких значений результатов тестирования, определим ее уровень ошибочности прогноза, а затем будем расширять этот диапазон путем добавления новых значений пока не достигнем предельного уровня ошибочности -10%. Для наглядности построим таблицу.

Таблица 6

Выбранный диапазон значений Количество всех прогнозов Число совпавших прогнозов Число не совпавших прогнозов Процент ошибки  II-го рода
1-6 24 22 2 8%
1-7 32 28 4 12%
1-8 39 33 6 15%
1-9 47 37 10 20%

Как видно из таблицы, не удалось найти диапазон с уровнем ошибочности именно 10%. В таком случае  выбор границ диапазона делается с учетом ситуации с кадрами. При избытке кандидатов на обучение отсев можно увеличить и включить в зону отрицательного прогноза результат в 7 баллов – в таком случае ошибочность второго рода (отчисление пригодных) немного возрастет. При дефиците кадров, наоборот, целесообразно несколько смягчить критерии отбора и «выбраковывать» только тех лиц, чьи результаты укладываются в диапазон от 1-го до 6-ти баллов, таким образом, ошибочность окажется  на уровне — 8 %.

Из расчетов, приведенных в двух последних таблицах, видно, что чем ближе мы подходим к диапазону средних значений теста, тем уровень ошибочности все более возрастает. Поэтому значения, которые не попали ни в ту, ни в другую зоны надежного прогноза, принято относить к зоне неопределенного прогноза.

Попробуем обобщить проведенные расчеты зон, работающих на различные виды  прогноза профессиональной деятельности космонавтов. Получились следующие диагностические границы:

Таблица 7

Деление на зоны при избытке кадров Вид прогноза проф. деятельности Деление на зоны при дефиците кадров
20-16 положительный 20-15
15-8 неопределенный 14-7
7-1 отрицательный 6-1

Необходимо обратить внимание на еще один важный аспект проблемы прогнозирования профессиональной деятельности. Как показывает практика, опирающаяся на многочисленные исследования при создании систем профотбора, одни тесты лучше работают на положительный прогноз, но при этом менее надежны в плане отрицательного прогноза деятельности, а другие, наоборот, лучше прогнозируют профессиональную непригодность, позволяя тем самым точно «выбраковывать» потенциальных аварийщиков, а в плане положительного прогноза чаще ошибаются. Поэтому перед психологами возникла проблема: как помимо выдаваемого прогноза (положительного или отрицательного) указывать еще и степень его надежности, поскольку в разных тестах она различна?

Для решения этой проблемы стали использовать  так называемые «прогностические коэффициенты», которые показывают надежность (удельный вес) прогноза, выданного по данному тесту. Теперь стало возможным сравнивать прогностические возможности различных тестов между собой. Таким образом, прогностический коэффициент может показывать не только знак прогноза (+ или  — ), но и весомость того или иного прогноза, полученного от определенного теста.

Суть прогностического коэффициента заключается в следующем: он отражает соотношение доли совпавших с деятельностью прогнозов, т.е. сбывшихся (Псбыв), к доле не совпавших с деятельностью  прогнозов, т.е. несбывшихся (Пнесбыв), где доли берутся в процентном (%) выражении. Формула прогностического коэффициента  (ПК) выглядит так:

5

Умножение на 10 производится в формуле с той целью, чтобы работать в дальнейшем не с дробными числами, а с целыми, поэтому дробная величина, которая получается после вычисления логарифма, искусственно увеличивается на один порядок.

Произведем расчет прогностических коэффициентов применительно к тем зонам, которые были нами ранее выделены в тесте на зрительную память.

6

Прогностические коэффициенты можно рассчитать и для зон средних значений, здесь главное определить, какой знак прогноза является доминирующим потому, что при равном соотношении долей сбывшихся и несбывшихся прогнозов остается непонятным момент: на какой именно прогноз работает данная зона.

Как уже говорилось ранее, для профотбора разрабатываются критериальные нормы по всем тестам, которые применяются в системе отбора. Их может быть и пять и пятнадцать в зависимости от специфики профессиональной деятельности, для которой этот отбор предназначен.  После того, как обследуемый кандидат выполнит все необходимые тесты, он наберет определенное количество (сумму) прогностических коэффициентов. Этот континуум итоговых значений тестирования тоже приходится нормировать, чтобы определить, каких кандидатов следует оставить и допустить к обучению, а  каких — отчислить. Критериальные нормы применительно к итоговым (суммированным по всем тестам) показателям вырабатываются таким же методом, что и для отдельного теста, т.е. по процедуре последовательного  анализа Вальда.  Например, в гражданской авиации установлены следующие зоны, надежно работающие на различные виды прогноза, для итоговых показателей тестирования (суммированных по всем тестам баллов):

(+ 130) баллов и выше – положительный прогноз (I-ая группа ПВК);

от (+129) до (-129) баллов – неопределенный прогноз (II-ая группа ПВК);

(-130) баллов  и ниже – отрицательный прогноз (III-тья группа ПВК) .

Поясним, что группа ПВК означает уровень развития профессионально важных качеств, иными словами, уровень работоспособности психических функций.

Выработка критериальных норм требует немало времени, например, для гражданской авиации нормы разрабатывались на протяжении пяти лет. Дело в том, что сначала нужно было протестировать всех желающих поступить в летные училища ГА, принять всех независимо от  полученного прогноза (положительного или отрицательного), затем дать возможность всем пройти двухгодичное обучение , а потом уже изучать, как получается у молодых пилотов летать самостоятельно: успешно или неуспешно. Ради разработки критериальных норм пришлось пойти на определенный риск, т.е. принимать на обучение даже лиц с очень низкими показателями по психологическим тестам, иначе невозможно было бы получить отрицательные оценки профессиональной деятельности. Многие из этих  лиц,  не добившиеся успехов в летной деятельности, со временем отсеялись из авиации: кто — по здоровью, потому что эта работа им тяжело давалась, кто – по решению руководства, а некоторые  уходили  сами, видя угрозу для своей безопасности и безопасности пассажиров. Те же, кто не пожелал уйти по доброй воле, попадали в аварийные ситуации, после чего их списывали с летной работы.

Приведу один реальный пример на эту тему из моего опыта расследования авиационных происшествий, который я приобрела за время работы  в Межгосударственном Авиационном Комитете. Авиапроисшествие, о котором я хочу рассказать, произошло в 2003 году в Якутии недалеко от поселка Арбынцы. Полеты в полярных областях представляют большую сложность для пилотов, поскольку белое полярное небо нередко сливается по цвету с белым полярным снегом,  и если на земле нет никаких заметных ориентиров, например, дерева или  куста, то может произойти потеря ориентировки в пространстве, т.е. пилот перестает понимать, где находится земля: под ним или над ним. Надо быть действительно мастером летного дела, чтобы в условиях потери ориентиров произвести посадку в тундре. Слабый пилот может совершить аварию, находясь даже на малой высоте от земли. Такое авиапроисшествие  случилось с командиром  вертолета Ми-8, когда он находился уже на расстоянии 1 метра от земли. Ветром от вертолетных винтов задуло костер, который служил единственным ориентиром места посадки, но экипаж знал, что они находятся уже в метре от земли и заняли устойчивое горизонтальное положение – оставалось лишь плавно посадить вертолет. Однако командир, не будучи уверенным в своем летном мастерстве, резко изменил решение и неожиданно  повернул штурвал на взлетное положение, хотя все остальные члены экипажа выполняли при этом действия, направленные на посадку. В результате рассогласования действий экипажа вертолет немного поднялся вверх, накренился и  в таком положении упал на землю, поломав несущие винты. Травмы получили члены экипажа и пассажиры вертолета.

Когда после аварии мы начали собирать сведения о командире вертолета, то выяснилось, что при прохождении профотбора он набрал чрезвычайно низкое количество прогностических баллов, а именно, минус 160 баллов. По критериям действующего психологического отбора лица с таким количеством баллов не должны допускаться к обучению на специальность пилот воздушного судна. Как же попал данный человек на летную профессию? Оказалось, что он проходил тестирование в тот год, когда еще только разрабатывался профотбор, и принимались все лица, сдавшие экзамены в летные училища. Но, как показал данный случай, потенциальный аварийщик все равно рано или поздно себя проявляет с отрицательной стороны. Просто у кого-то неблагоприятные условия в полете  могут появиться в самом начале его летной карьеры, а у кого-то они складываются гораздо позднее, и потенциальный аварийщик летает до этого случая несколько лет. Хоть и спустя многие годы, но справедливость отрицательного прогноза в отношении данного человека получила свое полное подтверждение на практике – случилась авиапроисшествие. Все это говорит о том, что  критериальные нормы, разработанные в гражданской авиации для целей профотбора,  являются достаточно надежными и правильными.

Вы можете оставить комментарий, или ссылку на Ваш сайт.
Источник: https://nolamers.com

Оставить комментарий

Вы должны быть авторизованы, чтобы разместить комментарий.