В одном из прошлых выпусков рассылки, мы говорили о критериях эффективности теста. Сегодня подробнее остановимся на его составных элементах — заданиях и требованиях, которые предъявляются к их составлению. Опытный
составитель тестов знает, что нетрудно придумать задание, измеряющее какое-либо свойство или способность. Гораздо сложнее решить, достойно ли оно включения в данный тест, будет ли оно давать информацию об измеряемом свойстве. Также поговорим о том, как происходит обработка результатов теста, их первичный анализ.
И состоявшийся профессионал с многолетним стажем, и молодой специалист часто думают об одном и том же —
правильно ли они выбрали профессию? Психологи предлагают 4 способа узнать это.
Чем теплее становится, тем больше людей задумываются о том, чтобы перебраться наконец
на дачу и зажить по-новому. Дачная жизнь укрепляет не только физическое здоровье, но и психику, утверждают психологи.
Ученые разработали компьютерную программу, которая умеет читать быстро меняющиеся
выражения на человеческом лице и делает выводы об эмоциях, которые скрываются за ними. Разоблачение обмана преступников теперь станет более простым делом.
Обезьяны, похоже, оказались умнее, чем считалось ранее. Исследователи установили,
что они могут считать до четырех, понимать разницу между голландским и японским языками (естественно, не понимая смысла сказанного), а также анализировать и делать выводы!
Исследование 26916 случаев суицида в Англии и Новом Уэльсе показало, что люди, рожденные
в марте, апреле и мае, имеют повышенный риск закончить жизнь самоубийством по сравнению с теми, кто родился осенью.
Привлекательные люди имеют существенные
социальные и экономические преимущества в жизни, от большей вероятности завязать романтическое знакомство, до вероятности получить меньший срок за преступление. Вот почему многих людей заботит собственная внешность.
Американские ученые установили, что у студентов, выполняющих тесты в условиях, имитирующих
дефицит восприятия, характерный для пожилых людей, падает умственный коэффициент. Сенсорный дефицит у пожилых приводит к снижению IQ, заключают они.
Уличенные в плагиате люди зачастую просто не могут идентифицировать источник воспоминаний, что приводит к смешению
между реально происходившими событиями и увиденными на экране, прочитанными в книге или услышанными от приятелей. Называется это криптомнези
Прежде всего, необходимо обрисовать цель, ради которой вообще затевается оценка и анализ тестовых заданий. В прошлом выпуске нашей рассылки упоминался основной принцип конструирования теста — максимальное отражение всех параметров свойства через минимальное количество заданий. Ничего лишнего. Анализ тестовых заданий призван именно для устранения "сорняков".
Анализ и оценка тестовых заданий начинается после апробации теста на целевой группе. Полученные данные сводятся в таблицу с матричной структурой, в которой задания начинают сортироваться по следующим критериям.
Мера трудности задания
Мера трудности задания дает информацию о степени задействования того параметра изучаемого свойства, которое оно призвано измерять. Иногда говорят, что мера трудности определяет соответствие задания целевой группе теста. В целом, можно сказать, что данный критерий позволяет судить и об этом.
Трудное задание или легкое, определяют путем подсчета доли неправильных ответов к каждому из них. Однако сегодня применяется и не совсем классический способ определения трудности задания — умозрительно, на основе предполагаемого числа и характера тех элементов, которые участвуют в выполнении задания (и входят в параметр измеряемого свойства). Допустим, в тесте на объем памяти присутствует задание, связанное с произвольным запоминанием, в котором могут участвовать речь (проговаривание списка цифр
вслух или "про себя"), мышление (построение ассоциативных связей) и т.п. В этом случае задание на запоминание числового ряда с отвлеканием испытуемого может повысить трудность его выполнения.
Дифференцирующая способность
Дифференцирующая способность задания — насколько оно может отличить сильного испытуемого от слабого по измеряемому свойству. Если по одному из заданий у всех испытуемых имеется одинаковое значение — это задание нецелесообразно включать в тест. Очень сложно не сделать ошибку и не принять дифференцирующую способность задания за его трудность / легкость. Дело в том, что в тестах, измеряющих качество выполняемой деятельности, знаний и т.п., тестах достижений, ряд одинаковых ответов на задание
будет означать два варианта: правильно / неправильно. Соответственно, по этому ряду можно сделать неверный вывод о трудности (в случае всех неправильных ответов) или легкости (в случае всех правильных ответов) задания.
Необходимо заметить, что данным критерием часто пренебрегают составители современных тестов. Это приносит большие неудобства и испытуемым, которым приходится отвечать на лишние вопросы, и психологам, которые вынуждены обрабатывать лишнюю информацию.
Дифференцирующая способность эмпирически определяется через вариацию данных.
Вариация и дисперсия
Вариация — буквально, степень разнообразия данных, полученных при выполнении задания. Она отражает дифференцирующую способность. Если дифференцирующая способность высокая, мы говорим о вариативных данных, и наоборот. При невариативных данных задание удаляют из теста. Определяется вариация путем вычисления дисперсии. Дисперсия вычисляет сумму квадратных отклонений значений баллов от среднего арифметического балла. Проще говоря, рассчитывается среднее арифметическое по выборке, и все полученные
значения баллов начинают с ним сравниваться. Таким образом, мы получаем информацию о вариации тестового задания. Общепринятой мерой вариации тестовых баллов задания является стандартное отклонение, которое определяется путем вычисления квадратного корня из дисперсии.
Иногда вариацией называют наблюдаемую переменную величину. Дело в том, что то свойство, на измерение которого направлен тест, принимается за латентную (ненаблюдаемую) переменную. А с помощью теста определяется наблюдаемая переменная, которая выявляет лишь приближенные значения ненаблюдаемых истинных баллов испытуемого.
Первичный анализ результатов тестирования
Итак, тест стандартизован, апробирован, одобрен экспертной комиссией. Теперь с помощью него можно получать необходимую информацию о психологическом свойстве или способности человека. Для этого после проведения тестирования проводят первичный анализ результатов. Обычно о нем говорят в случае группового тестирования.
Полученные данные сначала необходимо свести к среднему значению. Оно более наглядно показывает групповой результат. Однако среднее значение мало информативно в отношении характеристики распределения значений баллов, частоты встречаемости каждого значения. Мода (Мо) — показатель наиболее часто встречающегося значения балла. Мод может быть несколько — наибольшее количество раз могли встретиться несколько значений. Далее выборку делят пополам, а значения баллов пограничного испытуемого
принимаются за медиану (Ме).
График результатов теста обычно принимает форму колокола ("колокол Гаусса"), отвечая закону о нормальном распределении, где крайние значения показывают редко встречающиеся баллы, а при приближении к середине кривой частота встречаемости баллов увеличивается. Моды, медиана и среднее арифметическое значение также откладываются на графике. В некоторых случаях они могут совпадать — тогда распределение данных называют симметричным. Чем больше расстояние между модой, медианой и средним значением, тем
больше результаты теста отклоняются от нормального распределения.
Преимущества компьютерных программ тестирования
Вышеописанная процедура обработки тестовых результатов при большом количестве испытуемых отнимает много времени и сил. Компьютерные программы тестирования позволяют за считанные секунды увидеть вышеназванные характеристики выборки, для большей наглядности представленные на графиках и в таблицах. Это экономит время, деньги и силы психолога, который, сразу получив результаты первичного анализа, может приступать к разработке рекомендаций или проверке научных гипотез.
Компьютерные программы Effecton Studio — это широкий выбор тестов на различные свойства и способности человеческой личности. Сюда входят тесты на свойства внимания, памяти, восприятия, мышления, коммуникативных способностей (опросник Томаса, тест Лири), а также тесты на личностные особенности (Кеттел, Айзенк). Программы Effecton Studio также дают возможность быстрой и
качественной обработки полученных данных.
