Психология, тесты, опросы Тесты, методики, ключи… и ошибки в них
Коллеги, добрый день.
Тесты, которым мы доверяем…
А ведь иногда со мной переставали общаться, когда я говорил о том, что в методиках допущены ошибки. Еще бы, коллега несколько лет применял методику и даже не мог себе позволить усомнится в «священной корове»…
Почему многие наши коллеги берут тестовые методики на веру?
·не могут даже позволить себе сомнения (по аналогии как в советские времена большинство людей свято верили тому, что написано в газетах);
·не умеют перепроверять ключи в методиках (так как это больше под силу технарям, математикам… а не гуманитариям);
·«а вот нечего использовать общедоступные методики и ключи – нужно ПОКУПАТЬ тесты и тогда будет все в порядке»…
·о конкретных ошибках в конкретных популярных тестовых методиках,
·об алгоритме, как самому распознавать эти ошибки, перепроверяя ключи к методикам
Приведу только один пример об ошибках в ключах к методике. О других ошибках подробнее будет в статье. В то же время, Вы, HR-коллеги, наверняка тоже встречались с такими ошибками. Имеет смысл поделиться опытом и рассказать о них в «общую копилку
HR».
1. Итак, одна из последних методик, которую я запускал в режиме онлайн - методика диагностики уровня эмоционального выгорания В. В. Бойко.
По ключам: показатель выраженности каждого симптома колеблется в пределах от 0 до 30 баллов, но в одной из шкал находим сразу 2 ошибки:
·ответ на 72 вопрос повторяется дважды (а этого не может быть, каждый ответ принадлежит к конкретной шкале)
·максимальная сумма баллов в одной из шкал равна 33 (а не 30, как заявлено в условиях)
Шкала 1
11 +
5
23 +
3
35+
3
47+
5
59+
5
72+
2
83 +
10
Шкала 2
12+
3
24 +
2
36+
5
48 +
3
60+
2
72+
10
84+
5
2. Выявляем, что ответ на 71 вопрос нигде не учтен, вместо него как раз дважды упоминается ответ на 72-й вопрос.
3. Вес одного из вопросов указан неправильно. Каждый вариант ответа предварительно оценен компетентными судьями тем или иным числом баллов - указывается в "ключе" рядом с номером суждения в скобках. Это сделано потому, что признаки, включенные в симптом, имеют разное значение в определении его тяжести. Максимальную оценку - 10 баллов получил от судей признак, наиболее показательный для симптома.
Судя по предыдущим шкалам чаще всего веса ответов распределяются как:
·1 ответ в 10 баллов
·2 ответа в 5 баллов
·2 ответа в 3 балла
·2 ответа в 2 балла
делаем вывод - в нашей найденной ошибке неправильно указан вес одного из ответов в 5 баллов. Это один из вопросов под номером:11, 47 или 59.
Смотрим саму шкалу и ключи. Очевидно, что вопрос под номером 11 должен быть с весом 2, а не 5. Вопросы № 47 и 59 более показательны для этой шкалы.