Метод последовательного анализа Вальда

На прошлом практическом занятии вы освоили методы расчета статистических норм. Первый метод заключался в использовании описательных статистик: среднего арифметического и среднего квадратического отклонения, которое делит все распределение на шесть диапазонов. Второй метод предполагал расчет перцентилей, построение перцентильной кривой и определение критических перцентилей (25-го и 75-го). Статистические нормы показывают, какие области значений можно считать высокими, средними и низкими показателями. Этот вид норм позволяет дать оценку каждому конкретному результату тестирования в плане того, в какую область (зону) значений он попадает, но не более того. Статистические нормы удобны для того, чтобы сравнивать результаты обследованных лиц между собой, т.е. соотносить степень развитости тех или иных психических качеств у людей внутри контингента. Иными словами статистические нормы применяются для ранжирования людей по каким-то психическим качествам.

Иногда психологи пытаются сделать по этому виду норм и более далеко идущие выводы,  в частности, выдвинуть предположения о профессиональной успешности тех или иных лиц. Например, лица, чьи психические качества получили высокую оценку (попали в зону высоких значений), вероятно, будут лучше справляться с тем видом профессиональной деятельности, где данные психические непосредственно участвуют и обеспечивают успешность деятельности. И наоборот, лица, чьи психические качества оказались на низком уровне, вероятно, будут демонстрировать меньшую профессиональную успешность в данном виде деятельности. Но данные прогнозы не могут быть надежными, т.к. статистические нормы в процессе своей разработки никак не сопоставляются с реальными показателями деятельности, т.е. с показателями успешности или неуспешности ее выполнения лицами с высокими и низками показателями.

Поэтому был изобретен  другой вид норм, который достаточно надежно и точно прогнозируют успешность профессиональной деятельности. Эти нормы называются критериальные, и они строятся в опоре на оценки  профессиональной деятельности, которой  получают впоследствии протестированные лица. Свое название — «критериальные» эти нормы получили от  термина «критерий», которым обозначают в статистике «прогнозируемую величину» — в данном случае прогнозируемой величиной выступает успешность профессиональной деятельности. Можно сказать, что критериальные нормы несут на себе «отпечаток» деятельности, потому что их разработка опирается на сбор сведений о результатах профессиональной деятельности  ранее обследованных  по тестам лиц. Именно на выявлении связи между данными, полученными в тестах, и показателями, полученными  в реальной деятельности, основана выработка критериальных норм. Поэтому когда перед психологами ставится задача сделать прогноз успешности деятельности какого-то человека на основе результатов его тестирования, например, в ситуации профотбра, то должны применяться для прогнозирования именно критериальные нормы, а не статистические нормы (последние служат для других целей).

Прежде, чем перейти непосредственно к изучению процедуры выведения критериальных норм,  рассмотрим вопрос о том, почему вообще возможно прогнозирование какой-то профессиональной деятельности по результатам тестов, хотя тесты не воспроизводят, т.е. не используют в своем содержании элементы реальной профессиональной деятельности (даже той, для прогноза которой они создаются). Дело в том, что успешность профессиональной деятельности и прежде всего операторской деятельности зависит от многих факторов, но доминирующими являются три фактора:

  1. уровень работоспособности психических функций  (скорость и безошибочность в работе таких функций, как восприятие, внимание, мышление, память, моторика, речь);
  2. степень опытности в данном виде профессиональной деятельности (накопленные знания и сформированные навыки работы);
  3. сила мотивации (желание выполнять данную деятельность и добиваться в ней успехов).

Если два последних фактора можно сформировать в процессе подготовки человека к профессиональной деятельности, то уровень психических функций практически не поддается тренировке, так как он зависит от  заданных на генетическом уровне возможностей нервной системы человека и, прежде всего, от функциональных  возможностей его головного мозга, который  продуцирует выше названные психические функции. По этой причине при психологическом отборе на сложные операторские профессии такие, как космонавт, военный летчик, гражданский пилот, авиадиспетчер и другие изучается преимущественно уровень работоспособности не тренируемых психических функций.

Уровень психических функций изучается не только на стадии профессионального отбора у кандидатов на данные специальности, но отслеживается и в дальнейшем на протяжении всей их профессиональной деятельности. Это необходимо для того, чтобы  в случае снижения успешности   профессиональной деятельности понять причину снижения, т.е. определить, с каким из трех факторов связано ее ослабление. Тогда будет  ясно, в каком направлении следует вести коррекцию: поддерживать уровень ослабленных психических функций (медикаментозными средствами), восстанавливать забытые знания и навыки или усиливать мотивацию (за счет применения новых стимулов). В этой связи целесообразно изучать каждый из трех факторов в отдельности, поэтому тесты, направленные на исследование уровня сохранности психических функций, не должны содержать в себе элементы опыта профессиональной деятельности.  Иными словами, тесты должны быть внешне не похожи на конкретную профессиональную деятельность, они могут носить некий абстрагированный характер. Вместе с тем они должны актуализировать к проявлению именно те психические функции, которые задействованы  в интересующей нас профессиональной деятельности. Поэтому тесты оказываются схожи с деятельностью только своими  внутренними механизмами, так как осуществляются одинаковыми психическими функциями, но отличаются от реальной  деятельности по форме предъявляемого материала (внешнее оформление заданий), чтобы не происходило привлечения профессионального опыта для их выполнения.

Важно отметить еще такой аспект: в одних видах профессиональной деятельности более задействованными оказываются одни психические функции, а в других — другие психические функции. Например, в работе авиадиспетчера активно участвуют восприятие (зрительное и слуховое), внимание и речь. В работе пилота эти функции тоже важны, но на отдельных этапах его деятельности  на первые места могут выходить иные функции, например, мышление (процесс принятия решения) совместно с памятью, которая «предлагает» известные алгоритмы решения проблемы, а также моторика, которая обеспечивает быстрое выполнение нужных двигательных действий по управлению самолетом. Таким образом, набор психических функций, которые обеспечивают успешность профессиональной деятельности пилота, отличается от набора авиадиспетчера и других специалистов.

По этой причине требования к уровню работоспособности психических функций оказывается разным для представителей различных профессий. И может получиться так, что  требования, например, к быстроте и точности моторных (двигательных)  реакций для военных летчиков  будут очень высокими,  для гражданских пилотов – просто высокими, а для авиадиспетчеров будет приемлем и средний уровень развития этих реакций. Тогда прогнозировать успешность профессиональной деятельности в военной авиации можно только для  человека, который покажет очень высокие результаты в тестах на быстроту двигательных реакции. Успешность в гражданской авиации можно прогнозировать для того, кто покажет результаты, принадлежащие зоне не только очень высоких, но и просто высоких значений, т.е. ближе к средним значениям, а успешность деятельности авиадиспетчера можно прогнозировать даже для того, чьи результаты попадут в зону средних значений. В итоге получается, что на прогноз успешности профессиональной деятельности работают совершенно различные по объему зоны: где-то это узкая полоска крайне высоких значений, а где-то это широкая полоса, включающая в себя обширную зону средних значений. Для иллюстрации выше сказанного приведен рисунок 9.

То же самое можно сказать и в отношении прогноза неуспешности деятельности. Заметим, что прогноз неуспешности деятельности  важен не менее, чем прогноз успешности, потому что на его основе принимается решение о том, чтобы не принимать данного кандидата на обучение сложной профессии, т.е. происходит отчисление кандидата из рядов поступающих.

Несовпадение зон (их границ) у статистических и критериальных норм применительно к данным одного и того же тестового показателя

Несовпадение зон (их границ) у статистических и критериальных норм применительно к данным одного и того же тестового показателя

Понятно, что каждое такое отчисление – это большая личная трагедия для кандидата, кроме того, может оказаться так, что отчисление было напрасным и данный человек все-таки смог бы стать неплохим специалистом. Чтобы подобных случаев было как можно меньше, необходимо установить очень четкие (не завышенные) границы той зоны, которая будет работать на прогноз неуспешности деятельности.  Когда общество испытывает дефицит кадров на сложные операторские профессии (космонавтов, военных летчиков, гражданских пилотов, авиадиспетчеров и др.), требуется особая тщательность в разработке  критериальных норм, обеспечивающих прогноз неуспешности в той или иной профессии и отсев  кандидатов, желающих в них работать, которые и так не многочисленны.

Итак, мы подошли к определению понятия «критериальные нормы» — это те диапазоны значений тестовых показателей, которые дают надежные прогнозы успешности  и  неуспешности в профессиональной  деятельности для обследованных лиц. В профотборе на сложные и опасные операторские профессии, безусловно, должны применяться критериальные нормы вместо статистических норм, т.к. цель профотбора и состоит в прогнозе того, сможет ли данный человек стать хорошим специалистом в этой профессии.  А статистические нормы могут использоваться в тех видах экспертизы психических функций, когда уже не требуется делать прогноза успешности деятельности человека, например, в целях ежегодной врачебно-летной экспертизы давно работающего летного состава, где требуется лишь оценить степень снижения психических функций  с возрастом по причине старения головного мозга и нервной системы в целом.

Теперь перейдем непосредственно к методу разработки критериальных норм. На первом этапе разработки проверяется, есть ли вообще связь между результатами, выбранного для нормирования теста, и результатами профессиональной деятельности. С этой целью для всех лиц, прошедших тестирование по выбранному тесту, собираются сведения непосредственно по месту работы о профессиональной успешности или неуспешности  тех лиц, которые ранее прошли тестирование. Полученные сведения заносятся в специальную таблицу по типу той, что  представлена ниже.

Таблица 4

Величина результата по тесту ( в баллах) Количество человек с данным результатом Виды прогнозов, которые делались Число лиц с  положительной оценкой деятельности Число лиц с отрицательной оценкой деятельности
20 5 Положит. 5 0
19 6 Положит. 6 0
18 7 Положит. 7 0
17 9 Положит. 8 1
16 9 Положит. 9 0
15 10 Положит. 8 2
14 11 Положит. 10 1
13 12 Положит. 11 1
12 10 Положит. 8 2
11 9 Положит. 7 2
10 9 Отрицат. 6 3
9 8 Отрицат. 4 4
8 7 Отрицат. 2 5
7 8 Отрицат. 2 6
6 5 Отрицат. 1 4
5 5 Отрицат. 0 5
4 4 Отрицат. 0 4
3 4 Отрицат. 1 3
2 3 Отрицат. 0 3
1 3 Отрицат. 0 3

Как видно из таблицы, есть такие тестовые значения, которым соответствуют только положительные оценки профессиональной деятельности, например, зона от 20 до 18 баллов, т.е. наблюдается полное совпадение высоких оценок по тесту с оценками успешности деятельности. Есть также зона тестовых значений, при которых  наблюдаются только отрицательные оценки профессиональной деятельности,  например,  зона очень низких результатов: в 1 или 2  балла. Но имеются зоны, которые не связаны столь уж однозначно с оценками успешности деятельности, в частности, в зоне 17-15 баллов наблюдаются как положительные, так и отрицательные оценки деятельности. То же самое можно сказать о зоне 9-6 баллов, где не всегда присутствуют только отрицательные оценки деятельности, но есть и положительные.

Получается, что зона 17-15 баллов хотя и работает преимущественно на положительный прогноз деятельности, тем не менее, допускает иногда ошибки в прогнозе, поскольку имеются отрицательные отзывы на работников, получивших по тестам эти достаточно высокие баллы. Это относится и к зоне 9-6 баллов, которая могла бы считаться зоной, прогнозирующей неуспешность в  профессиональной деятельности, но надежность ее прогноза не абсолютная, т.к. имеются случаи неподтверждения отрицательного прогноза (вместо этого присутствуют положительные оценки работников), хотя они получили довольно  низкие результаты  по тесту.

Следовательно, указанные выше зоны можно отнести к потенциально прогностичным зонам, но  с условием, что уровень ошибочности их прогноза  по тесту  будет признан  приемлемым для той профессиональной деятельности, для которой  он планируется как инструмент профотбора. Для многих профессий уже установлен предел допустимого уровня ошибок в прогнозе успешности и неуспешности деятельности. Сейчас мы с ними ознакомимся. Напомним, что когда человеку дается положительный прогноз деятельности, то он признается потенциально успешным и принимается на обучение профессии. Поскольку профессии, где применяется профотбор, как правило, связаны с  серьезными опасностями и сопряжены с высокой ответственностью за сохранение жизни людей, то риск принять в эти профессии непригодного человека должен быть достаточно мал. Такой риск называют ошибкой первого рода (допуск непригодного человека) и устанавливают предел для него на уровне 5%, т.е. ошибку I рода допустимо совершить не более, чем в 5-ти случаях из 100-та случаев.

Когда человека признают непригодным при профотборе, а он в действительности пригоден, что может проявиться при устройстве его на работу в какой-то другой стране, где иные критерии отбора на данную  специальность, тогда имеет место ошибка второго рода (исключение пригодного). Понятно, что от этой ошибки больше страдает не профессия, а отвергнутые при профотборе люди, но поскольку безопасность полетов  и сохранение жизни пассажиров признаются более важными, чем профессиональная переориентация отдельных личностей, то ошибка II рода считается допустимой на уровне 10%, т.е. на уровне 10-ти случаев из 100. Приведенные здесь величины допустимых ошибок I  и II рода (5% и 10% соответственно) имеют ключевое значение при разработке критериальных норм. Дело в том, что при решении вопроса:  можно ли включить то или иное тестовое значение в зону, работающую на конкретный  вид прогноза,- необходимо определить, какой уровень ошибочности прогноза наблюдается при этом значении. И если наблюдается уровень ошибочности не превышающий установленные пределы (5%  — для ошибки I рода и 10% — для ошибки II рода), то данное значение можно включить в прогностическую зону – таково главное правило для установления границ прогностических зон. Если же при каком-то тестовом значении получается ошибочность прогноза более, чем допустимый уровень ошибок, то данное значение не включается в зону, надежно работающую на прогноз, и его относят к зоне так называемого «неопределенного прогноза».

Обычно зоны крайних значений (очень высокие и очень низкие) хорошо работают на прогноз успешности и неуспешности  деятельности, а зоны средних значений  обладают меньшей прогностичностью в силу того, что среди лиц со средними  показателями теста встречается профессионально успешных примерно столько же, сколько и профессионально неуспешных. Поэтому нередко граница зоны, которая надежно работает на прогноз успешной деятельности, проходит между диапазоном высоких и средних значений или между высокими и очень высокими значениями. Каким же образом можно вычислить, где конкретно следует провести нижнюю границу зоны положительного прогноза деятельности?

Для  этого используется специальная процедура под названием «процедура последовательного анализа Вальда». Автор этой процедуры — Вальд предложил ее для применения в медицине, чтобы определять, при каком количестве симптомов заболевания можно надежно поставить тот или иной диагноз. Но сейчас эта процедура последовательного анализа широко применяется и в других областях знаний, в том числе в психологии. Суть процедуры Вальда применительно к разработке критериальных норм заключается в следующем: берется сначала достаточно узкий диапазон верхних значений тестовых показателей и определяется, какой процент ошибочных прогнозов наблюдается в этом диапазоне, т.е. сколько процентов приходится на лиц, получивших отрицательную оценку своей деятельности. Обычно этот процент для очень высоких тестовых показателей невелик (1-2%). Напомним, что ошибки I рода допустимы до уровня 5%, поэтому на этом диапазоне значений данный предел еще не достигнут, следовательно, мы можем еще немного опустить нижнюю планку зоны, работающей на положительный прогноз деятельности, т.е. расширить ее границы, добавив еще несколько тестовых показателей из высокого диапазона значений. Теперь опять нужно посчитать процент ошибочных прогнозов для уже расширенной зоны и оценить, не превышает ли он 5%. В том случае, когда не превышает, можно продолжить расширение зоны, добавив в нее следующие ниже стоящие результаты из диапазона высоких значений. И так  необходимо последовательно увеличивать размер зоны до тех пор, пока не будет достигнут порог – 5% ошибочности, т.е. в 5-ти случаях из 100 имеет место отрицательный прогноз вместо положительного. После этого расширять зону, обеспечивающую положительный прогноз деятельности (прогноз успешности), больше нельзя. Границу зоны надо провести на уровне тех тестовых значений, где прогностичность обеспечивается с уровнем ошибочности не более 5% .

Вы можете оставить комментарий, или ссылку на Ваш сайт.
Аварийное замена замков 8 (3812) 37-85-87

Оставить комментарий

Вы должны быть авторизованы, чтобы разместить комментарий.