Новиков Д.А. Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004.

   Редакционный совет серии: Богданов Ю.И., Вощинин А.П., Горбачев О.Г., Горский В.Г., Кудлаев Э.М., Натан А.А., Новиков Д.А., Орлов А.И. (председатель), Татарова Г.Г., Толстова Ю.Н., Фалько С.Г., Шведовский В.А.

   Работа содержит "рецепты" применения статистических методов в типовых случаях анализа экспериментальных данных в педагогических исследованиях. Приводится алгоритм выбора статистического критерия, методики определения достоверности совпадений и различий характеристик исследуемых объектов. Анализируются наиболее распространенные ошибки. Изложение сопровождается примерами анализа результатов педагогических экспериментов.

   Работа рассчитана на педагогов-исследователей, в первую очередь, на аспирантов и соискателей.

   Предисловие 4

   1. Введение 6

   2. Структура педагогического эксперимента 8

   3. Элементы теории измерений 11

   3.1. Шкалы измерений 11

   3.2. Допустимые преобразования 14

   3.3. Применение шкал измерений в педагогических исследованиях 17

   3.4. Агрегированные оценки 21

   3.5. Комплексные оценки 23

   4. Анализ использования статистических методов в диссертационных исследованиях по педагогике 26

   5. Типовые задачи анализа данных в педагогических исследованиях 30

   6. Методы обработки данных и примеры 37

   6.1. Описательная статистика 37

   6.2. Общие подходы к определению достоверности совпадений и различий 43

   6.3. Методика определения достоверности совпадений и различий для экспериментальных данных, измеренных в шкале отношений 45

   6.4. Методика определения достоверности совпадений и различий для экспериментальных данных, измеренных в порядковой шкале 51

   6.5. Алгоритм выбора статистического критерия 58

   7. Заключение 62

   Литература 64

   С большим удовольствием представляю читателю замечательную книгу, которая может осчастливить начинающего исследователя. В ней всё рассказано о статистических методах, всё то, что надо знать для успешного самостоятельного применения этих методов в педагогических исследованиях. А дальше - выход в море более продвинутых методов. Конечно, если такой выход нужен.

   Статистические методы - это набор инструментов научного работника. Одни инструменты предназначены для первичной обработки, другие - для более тонкой отделки. Одни используются чаще, другие - реже. Одни - современные, другие устарели. Но есть базовый набор, которым должен владеть каждый научный работник. Этот набор и представлен в книге профессора Д.А. Новикова.

   В настоящее время теория измерений - это базовая общенаучная теория, с которой должен быть знаком каждый научный работник. В книге рассмотрены основные шкалы измерения. Из них в педагогических исследованиях, да и в любых иных, наиболее часто применяются шкалы порядка и отношений. На основе теории измерений дается обоснованная критика распространенной практике использования "среднего балла".

   Изложение построено на основе выделенной автором структуры педагогического эксперимента. Эта структура такова. Создаются экспериментальная и контрольная группы. Проверяется отсутствие различий между ними. Затем в экспериментальной группе применяется исследуемая методика. А в контрольной - традиционная. Если в конечном состоянии группы различаются, то налицо эффект (превосходство) исследуемой методики.

   В книге рассмотрены методы решения шести базовых задач. Для каждой из двух наиболее часто применяемых шкал измерения (порядковой и отношений) разобраны методы описания данных, проверки совпадения характеристик двух групп и установления различия двух групп. Приведены все необходимые формулы и алгоритмы расчетов. Нет необходимости обращаться к иной литературе - все есть в этой книге!

   Однако статистические методы отнюдь не исчерпываются базовыми задачами. "Продвинутым" исследователям целесообразно обратиться к существенно более толстым сочинениям, многие из которых указаны в списке литературы. В частности, при различии групп в начальном состоянии может помочь технология стандартизации выборки. Более того, контрольная группа не всегда нужна, например, при изучении взаимосвязи признаков.

   Наконец - самое важное. Настоящая книга полезна не только при проведении педагогических исследований. Столь же хорошо она может быть использована и в научных медицинских исследованиях. А также и в любых иных областях науки, отраслях народного хозяйства.

   Книга выходит в серии "Статистические методы" издательства МЗ-Пресс. Прочитаете ее - переходите к другим книгам серии.

   Экспериментальные исследования играют существенную роль во всех науках. Можно утверждать, что, чем менее строгой является наука, тем более значимую роль в ней играет эксперимент. Действительно, в науках сильной версии (см. [14]), использующих математический аппарат, многие результаты могут быть получены и обоснованы теоретически, на базе существующего эмпирического материала. В науках же слабой версии, к которым на сегодняшний день принадлежит и педагогика, эксперимент зачастую является единственным способом подтверждения справедливости гипотезы и результатов теоретического исследования, так как отсутствие общепринятой аксиоматики и адекватного формального аппарата не позволяет привести должного обоснования, не прибегая к эксперименту. Например, можно ли априори сказать, что та или иная новая методика обучения или воспитания более эффективна, чем известные и применяемые до нее? Вряд ли - пока эта методика не будет апробирована, и результаты ее применения не будут сопоставлены с результатами применения традиционных методик, никаких выводов сделать нельзя.

   При планировании и подведении результатов эксперимента существенную роль играют статистические методы, которые дают, в том числе, возможность устанавливать степень достоверности сходства и различия исследуемых объектов на основании результатов измерений их показателей.

   Анализ диссертационных исследований по педагогическим наукам (см. четвертый раздел настоящей работы) позволяет констатировать, что на сегодняшний день складывается следующая картина. С одной стороны, большинство исследователей четко представляет, что использование статистических методов необходимо (хотя бы потому, что это является общепринятым требованием в науке), и существует обширная литература по теоретической и прикладной статистике. С другой стороны, статистические методы в педагогике либо не используются вообще, либо часто используются некорректно.

   Объяснений этому несколько. Во-первых, необходимо признать, что существующая литература в большинстве своем ориентирована на людей, имеющих математическое или техническое образование, и практически недоступна гуманитариям (немногочисленные книги по математической статистике для гуманитариев [4, 5, 8, 9, 10, 12, 23, 26, 30] подавляют своим объемом и, все-таки, наверное, слишком сложны). Во-вторых, класс типовых (наиболее распространенных, массовых) задач (случаев) анализа данных, возникающих в педагогических исследованиях, достаточно узок, и для эффективного решения этих задач вовсе не требуется знакомства со всем богатейшим арсеналом статистических методов. Все это приводит к тому, что педагоги-исследователи боятся использовать статистические методы, а если и используют, то на уровне "шаманских заклинаний", особо не понимая, что и как надо делать, что они делают и какие результаты получают.

   Поэтому основной целью настоящей работы является изложение "рецептов" применения статистических методов для решения типовых задач анализа данных в педагогических исследованиях. Следует признать, что иногда мы были вынуждены немного жертвовать корректностью изложения в пользу его доступности. Желающим же получить более полное представление о том, как и в каких ситуациях, какие методы можно и нужно использовать, порекомендуем ознакомиться с перечисленными в списке литературы многочисленными учебниками и книгами, содержащими методики и опыт применения статистических методов в различных областях научного знания.

   Дальнейшее изложение имеет следующую структуру. Во втором разделе описана модель педагогического эксперимента и алгоритм действий исследователя при организации эксперимента и обработке его результатов. Третий раздел содержит минимально необходимые сведения из теории измерений относительно того, какого рода данные существуют, и какие операции к ним применимы. В четвертом разделе проводится анализ использования статистических методов в диссертационных исследованиях по педагогике, что позволяет перечислить наиболее распространенные ошибки, и сформулировать в пятом разделе типовые задачи анализа данных в педагогических экспериментальных исследованиях. Шестой раздел включает описание методов решения этих задач и примеры, а также алгоритм выбора статистического критерия - принятия решения относительно того, какой метод следует использовать в той или иной конкретной ситуации.

   Целью эксперимента, в том числе в диссертационном исследовании по педагогическим наукам, является эмпирическое подтверждение или опровержение гипотезы исследования и/или справедливости теоретических результатов.

   Рассмотрим следующую модель педагогического эксперимента. Пусть имеется некоторый педагогический объект, изменение состояния которого исследуется в ходе эксперимента. В качестве объекта может выступать отдельный индивид, группа, коллектив и т.д., например, множество учащихся, обучаемых по новой (предлагаемой в диссертации) методике. Состояние объекта измеряется теми или иными показателями (характеристиками) по критериям, отражающим его существенные характеристики. (Измерение - "процесс определения какой-либо мерой величины чего-либо". Величина - "то (предмет, явление и т.д.), что можно измерить, исчислить". Другими словами, величина - мера некоторого множества, относительно элементов которого имеют смысл утверждения - больше, меньше, равно. Мера - "единица измерения". Показатель - "то, по чему можно судить о развитии и ходе чего-либо". Критерий - "1) средство для вынесения суждения; стандарт для сравнения; правило для оценки; 2) мера степени близости к цели". Все определения здесь и далее взяты, если не оговорено особо, из словаря русского языка С.И. Ожегова.) Примерами критериев являются: успеваемость, уровень знаний и т.д., примерами характеристик - время выполнения заданий, число сделанных учащимися ошибок, число правильно решенных задач и т.д.

   Эксперимент заключается в целенаправленном воздействии на объект, призванном изменить его определенным образом. Собственно, это воздействие - его состав, структура, свойства и т.д. - и есть результат теоретического (теоретической части) исследования. Примерами воздействия являются новые содержание и формы, методы, средства обучения и т.д.

   Следовательно, при проведении педагогического эксперимента необходимо обосновать, что состояние объекта изменилось, причем в требуемую сторону. Но этого оказывается недостаточно. Ведь нужно обосновать, что изменения произошли именно в результате произведенного воздействия.

   Действительно, на утверждение о том, что успеваемость повысилась в результате использования новой методики, можно всегда возразить, - а, может быть, она сама повысилась бы, без каких-либо нововведений, или в результате каких-либо других воздействий? Аналогично, на утверждение о том, что успеваемость учащихся, прошедших обучение по новой методике, выше успеваемости тех, кто обучался по традиционной методике, можно возразить, - а, может быть, успеваемость первых до начала применения новой методики была выше, и, если бы новая методика не применялась, то она в результате оказалась бы выше наблюдаемой?

   Таким образом, для того, чтобы выделить в явном виде результат целенаправленного воздействия на исследуемый объект, необходимо взять аналогичный объект и посмотреть, что происходит с ним в отсутствии воздействий.

   Традиционно эти два объекта в экспериментальных исследованиях называют соответственно экспериментальной группой (например, обучаемой по предложенной методике) и контрольной группой (например, обучаемой по традиционной методике).

   При этом мы по умолчанию подразумеваем, что методы (методики, тесты и т.д.) измерения характеристик объектов одинаковы. Например, сравнивать уровни знаний членов экспериментальной и контрольной группы, предлагая им различные наборы задач, нельзя.

   Констатации различий начального и конечного состояний (динамики) экспериментальной группы недостаточно - быть может, аналогичные изменения происходят и с контрольной группой. Поэтому алгоритм действий исследователя заключается в следующем:

   1) На основании сравнения I установить совпадение начальных состояний экспериментальной и контрольной группы (Если говорить корректно, то с точки зрения математической статистики совпадение установить невозможно - можно установить различие или отсутствие статистически значимого различия.);

   2) Реализовать воздействие на экспериментальную группу (При выполнении данного шага необходимо быть уверенным, что и экспериментальная, и контрольная группы находятся в одинаковых условиях, за исключением целенаправленно изменяемых исследователем.);

   3) На основании сравнения установить различие конечных состояний экспериментальной и контрольной группы.

   Легко видеть, что, выполняя перечисленные шаги, мы, фактически, косвенным образом исключаем влияние общих для экспериментальной и контрольной группы условий и воздействий. Эксперимент может следовать и более сложной, но укладывающейся в рамки описанной идеологии, схеме - например, характеристики контрольных и экспериментальных групп могут измеряться и сравниваться неоднократно, в различные моменты времени.

   Спрашивается, а где же место статистических методов? Роль их заключается в том, чтобы корректно и достоверно обосновать совпадение или различие состояний контрольной и экспериментальной группы. Однако, прежде чем описывать эти методы, давайте рассмотрим, что понимается под "состоянием объекта" и как это состояние измерять. Проблемами измерений занимается теория измерений, поэтому приведем минимально необходимые сведения из этой теории.

   Информация, имеющаяся о начальных и конечных состояниях экспериментальной и контрольной группы, определяется проведенными измерениями. Любое измерение производится в той или иной шкале, и выбранная шкала определяет тип получающихся данных и множество операций, которые можно с этими данными осуществлять. Поэтому в настоящем разделе дается краткий обзор свойств основных шкал измерений, а затем описываются наиболее распространенные в педагогических исследованиях типы экспериментальных данных и методы их первоначальной обработки (до применения статистических методов).

   Состояние объекта оценивается по тем или иным критериям. В качестве критериев могут выступать: успеваемость учащихся, эффективность управления образовательным учреждением и т.д.

   Оценки измеряются в той или иной шкале. Шкала (условно говоря, шкала - это множество возможных значений оценок по критериям) - числовая система, в которой отношения между различными свойствами изучаемых явлений, процессов переведены в свойства того или иного множества, как правило - множества чисел.

   Различают несколько типов шкал. Во-первых, можно выделить дискретные шкалы (в которых множество возможных значений оцениваемой величины конечно - например, школьная оценка в баллах - "1", "2", "3", "4", "5") и непрерывные шкалы (например, время, затрачиваемое учащимися на выполнение задания, в минутах). Во-вторых, выделяют шкалы отношений, интервальные шкалы, порядковые (ранговые) шкалы и номинальные шкалы (шкалы наименований).

   Рассмотрим, следуя, в основном [15, 22], свойства четырех основных типов шкал, перечисляя их в порядке убывания мощности.

   Шкала отношений - самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объект больше (меньше) другого объекта, принимаемого за эталон, единицу. Для шкал отношений существует естественное начало отсчета (нуль), но нет естественной единицы измерений.

   Шкалами отношений измеряются почти все физические величины - время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда измеряется время выполнения того или иного задания (в секундах, минутах, часах и т.п.), количество ошибок или число правильно решенных задач. В отдельных случаях, в том числе в исследованиях по трудовому и профессиональному обучению, применяются оценки и в мерах физических величин - величина допускаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), величина электрической активности мышц в милливольтах и т.п.

   Шкала интервалов применяется достаточно редко и характеризуется тем, что для нее не существует ни естественного начала отсчета, ни естественной единицы измерения. Примером шкалы интервалов является шкала температур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим образом: за ноль была принята точка замерзания воды, за 100 градусов - точка ее кипения, и, соответственно, интервал температур между замерзанием и кипением воды поделен на 100 равных частей. Здесь уже утверждение, что температура 30⁰С в три раза больше, чем 10⁰С, будет неверным.

   Порядковая шкала (шкала рангов) - шкала, относительно значений которой уже нельзя говорить ни о том, во сколько раз измеряемая величина больше (меньше) другой, ни на сколько она больше (меньше). Такая шкала только упорядочивает объекты, приписывая им те или иные ранги (результатом измерений является нестрогое упорядочение объектов).

   Например, так построена шкала твердости минералов Мооса: взят набор 10 эталонных минералов для определения относительной твердости методом царапанья. За 1 принят тальк, за 2 - гипс, за 3 - кальцит и так далее до 10 - алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый минерал, допустим, царапает кварц (7), но не царапает топаз (8) - соответственно его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера.

   Шкалы порядка широко используются в педагогике, психологии, медицине и других науках, не столь точных, как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пятибалльная, двенадцатибалльная и т.д.) может быть отнесена к шкале порядка. В школах некоторых стран применяется и другая оценка успеваемости учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе (выпуске). Это тоже шкала порядка.

   Частным случаем порядковой шкалы является дихотомическая шкала, в которой имеются всего две упорядоченные градации - например, "справился с заданием", "не справился с заданием".

   Шкала наименований (номинальная шкала), фактически, уже не связана с понятием "величина" и используется только с целью отличить один объект от другого: фамилии учеников, номера автомобилей, телефонов и т.п.

   Результаты измерений необходимо анализировать, а для этого нередко приходится строить на их основании производные показатели, то есть, применять к экспериментальным данным то или иное преобразование. Используемая шкала определяет множество преобразований, которые допустимы для результатов измерений в этой шкале (подробнее см. публикации [13, 21, 22, 25, 29] по теории измерений).

   Начнем с наиболее слабой шкалы - шкалы наименований, которая выделяет попарно различимые классы объектов. Например, в шкале наименований измеряются значения признака "пол": "девочки" и "мальчики". Эти классы будут различимы независимо от того, какие различные термины или знаки для их обозначений будут использованы: "лица женского пола" и "лица мужского пола", или "girls" и "boys", или "А" и "Б", или "1" и "2", или "2" и "3" и т.д. Следовательно, для шкалы наименований применимы любые взаимно-однозначные преобразования, то есть сохраняющие четкую различимость объектов (таким образом, самая слабая шкала - шкала наименований - допускает самый широкий диапазон преобразований).

   Отличие порядковой шкалы (шкалы рангов) от шкалы наименований заключается в том, что в шкале рангов классы (группы) объектов упорядочены. Поэтому произвольным образом изменять значения признаков нельзя - должна сохраняться упорядоченность объектов (порядок следования одних объектов за другими). Следовательно, для порядковой шкалы допустимым является любое монотонное (строго возрастающее) преобразование. Например, если ученик Иванов набрал 5 баллов, а ученик Сидоров - 10, то их упорядочение не изменится, если мы число баллов умножим на одинаковое для всех учеников положительное число, или сложим с некоторым одинаковым для всех числом, или возведем в квадрат и т.д. (например, вместо "1", "2", "3", "4", "5" используем соответственно "3", "5", "9", "17", "102"). При этом изменятся разности и отношения "баллов", но упорядочение сохранится. В некоторых школах, используются ранговые нечисловые шкалы, например, пятерка соответствует букве A или, например, пятиугольнику, четверка - букве B или четырехугольнику, и т.д., и учащиеся знают, что A лучше B, B лучше C и т.д.

   Для шкалы интервалов допустимо уже не любое монотонное преобразование, а только такое, которое сохраняет отношение разностей оценок, то есть линейное преобразование - умножение на положительное число и добавление постоянного числа. Например, если к значению температуры в градусах Цельсия добавить минус 273⁰С, то получим температуру по Кельвину, причем разности любых двух температур в обеих шкалах буду одинаковы.

   И, наконец, в наиболее мощной шкале - шкале отношений - возможны лишь преобразования подобия - умножение на положительное число. Содержательно это означает, что, например, отношение масс двух предметов не зависит от того, в каких единицах измерены массы - граммах, килограммах и т.д.

   Суммируем сказанное в таблице 1, которая отражает соответствие между шкалами и допустимыми преобразованиями.

   Как отмечалось выше, результаты любых измерений относятся, как правило, к одному из основных (перечисленных выше) типов шкал. (Результатами измерений могут быть и более сложные данные - ранжировки, последовательности и т.д., встречающиеся в педагогических исследованиях чрезвычайно редко, поэтому их рассмотрение выходит за рамки настоящей работы - см., например, [1-4, 13, 22, 33].) Однако, получение результатов измерений не является самоцелью - эти результаты необходимо анализировать, а для этого нередко приходится строить на их основании производные показатели. Эти производные показатели могут измеряться в других шкалах, нежели чем исходные. Например, можно для оценки знаний учащихся применять 100-балльную шкалу. Но она слишком детальна, и ее можно перестроить в пятибалльную ("1" - от "1" до"10"; "2" - от "10" до "30" и т.д.), или двухбалльную (например, положительная оценка - все, что выше 50 баллов, отрицательная - 50 и меньше). Следовательно, возникает проблема - какие преобразования можно применять к тем или типам исходных данных. Другими словами, переход от какой шкалы к какой является корректным. Эта проблема в теории измерений получила название проблемы адекватности.

   Для решения проблемы адекватности можно воспользоваться свойствами взаимосвязи шкал и допустимых для них преобразований, так как отнюдь не любая операция при обработке исходных данных является допустимой. Так, например, такая распространенная операция, как взятие среднего арифметического, не может быть использована, если измерения получены в порядковой шкале [13, 22]. Общий вывод таков - всегда возможен переход от более мощной шкалы к менее мощной, но не наоборот. Например, на основании оценок, полученных в шкале отношений, можно строить балльные оценки в порядковой шкале, но не наоборот.

   Завершая обсуждение шкал измерений, в качестве отступления отметим, что мы рассматриваем процесс обработки результатов измерений, но вовсе не затрагиваем проблемы, связанные, во-первых, с процедурой измерений (то есть с тем, каким образом получается информация об объекте), во-вторых, с тем, какого рода информация представляет интерес с точки зрения проводимого педагогического исследования, и, наконец, в-третьих, с тем, что понимать под "улучшением" или "ухудшением" состояния исследуемого объекта, то есть, каковы критерии эффективности [12, 15-17] (подобные содержательные аспекты находятся вне компетенции математики - статистические методы позволяют лишь установить и обосновать сходство или различие объектов, а как их интерпретировать - вопрос педагогики).

   Не останавливаясь на том очевидном требовании, что для сравнения результатов измерений ко всем объектам должны применяться одинаковые процедуры измерений (например, нельзя сравнивать результаты выполнения двумя различными учениками двух различных тестов), а также не перечисляя методы измерений, используемые в педагогике (с ними можно ознакомиться в [12, 16, 17]), отметим, что отдельной и чрезвычайно интересной областью исследований является выбор показателей, наиболее адекватно, и, в то же время, емко, отражающих изучаемые свойства объекта. К этой содержательной области относятся задачи построения тестов, выбора методик оценки знаний и умений и т.д. Кроме того, необходимо подчеркнуть, что проблема адекватности возникает не только при переходе от одной шкалы к другой, но и при выборе шкалы для получения первоначальных оценок - непосредственной информации об объекте. И здесь опять справедлив вывод о том, что шкала должна быть адекватна - если она слишком мощная, то возможен большой произвол (например, при измерении качественных характеристик в шкале отношений), если слишком слабая, то происходят потери информации (например, при измерении количественных показателей в номинальной шкале). Например, явно нецелесообразно, с одной стороны, оценивать результаты решения одной задачи в 100-балльной шкале, а с другой стороны, результаты решения 100 задач в двухбалльной шкале.

   Теперь, когда мы совершили небольшой экскурс в теорию измерений, рассмотрим вопрос о применении шкал измерений в педагогических исследованиях.

   Наиболее распространенная мера педагогических оценок - шкала оценки знаний и умений учащихся в баллах. Школьные оценки (отметки) - удобный аппарат для практики обучения, который выполняет не только оценивающие, но и определенные воспитательные функции (стимулирования одних учащихся, "наказания" других и т.д.).

   В педагогических исследованиях используются также и другие шкалы балльных оценок (порядковые шкалы). Например, выделив какие-либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, исследователь приписывает этим уровням соответствующие значения баллов: "1", "2", "3" и т.д., или "0", "10", "100", что принципиально безразлично. Но использование порядковой шкалы как критерия оценки для педагогических исследований нежелательно, хотя и не исключено. И дело здесь не только в известной необъективности отметок, о чем уже говорилось, но и в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерности интервалов между соседними значениями оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на "5", настолько же отличаются от знаний, оцененных на "4", как знания, оцененные на "4", отличаются от знаний, оцененных на "3". С тем же успехом можно было бы приписывать баллам значения не "1", "2", "3", "4", "5", а, допустим "1", "10", "100", "1000", "10000". И поэтому совершенно некорректно использование так широко применяемой в диссертациях по педагогике величины среднего балла (по классу, группе учащихся и т.д.), поскольку усреднение предполагает сложение значений величины, а операция суммы для порядковых шкал не может быть корректно определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия.

   Поэтому, например, утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных, будет неправомочным, некорректным. Тем более при использовании балльных оценок некорректны (даже абсурдны) утверждения типа: "эффективность экспериментальной методики в 2,6 раза выше контрольной".

   Чтобы продемонстрировать, что может получиться с использованием "среднего" балла, приведем такой гипотетический пример [15]. Пусть исследовалась сравнительная эффективность двух каких-либо методик обучения, А и В. В обеих группах учащихся - контрольной и экспериментальной - было по 80 человек. Оценки производились по двум шкалам - пятибалльной и десятибалльной. Предположим, что оценки по десятибалльной шкале могут быть пересчитаны в оценки по шкале пятибалльной: оценки "10" и "9" будут отнесены к "5", "8" и "7" - к "4" и так далее. Пусть оценки по десятибалльной шкале распределились следующим образом (в числителе указано количество учащихся, получивших соответствующую оценку в группе, обучавшейся по методике А, в знаменателе - по методике Б): "10" 20/0, "9" 0/30, "8" 30/0, "7" 0/30, "6" 20/0, "5" 0/20, "4" 10/0, оценки "3", "2", "1" не получил никто.

   Соответственно "средний балл" составит 7,50 (методика А) и 7,25 (методика В). Казалось бы, можно сделать вывод, что методика А лучше методики В. Вычислим оценки по пятибалльной шкале, в том же порядке: "5" 20/30, "4" 30/30, "3" 20/20, "2" 10/0, "1" 0/0. "Средний балл" в этом случае составит 3,750 в группе, обучавшейся по методике А, и 4,125 в группе, обучавшейся по методике В. Таким образом мы получили как бы противоположный "результат": методика В лучше методики А.

   Заметим, что этот "парадокс" никак не связан со статистической достоверностью различий - он будет иметь место и при очень больших выборках данных (числе учащихся). Просто это свойство слабой шкалы измерений. Сказанное будет относиться и к любым другим критериям оценки, использующим шкалу порядка.

   Внимательный читатель может сказать (и будет прав), что использованное в приведенном выше примере преобразование (из десятибалльной в пятибалльную шкалу) некорректно, так как не является взаимно-однозначным. Поэтому рассмотрим еще один пример [22], в котором "парадокс" имеет место при взаимно-однозначном преобразовании. Предположим для простоты, что и экспериментальная, и контрольная группы состоят из двух учеников. Ученики в первой группе получили следующие баллы: x₁ = 2, x₂ = 5, во второй - y₁ = 3, y₂ = 4. "Средний балл" экспериментальной группы: 3,5 = (2 + 5) / 2 равен "среднему баллу" контрольной группы: 3,5 = (3 + 4) / 2. Применим строго монотонное (возрастающее) преобразование: "2" переходит в "6", "3" переходит в "8", "4" переходит в "12", "5" переходит в "15". Средний балл экспериментальной группы (10,5 = (6 + 15) / 2) стал строго больше среднего балла контрольной группы (10 = (8 + 12) / 2). Таким образом, несмотря на то, что строго монотонное преобразование является допустимым для порядковой шкалы (см. выше), соотношение между "средними" изменилось. Обусловлено это тем, что операция вычисления среднего арифметического не является корректной в порядковой шкале.

   В принципе, шкалу балльных оценок, также как и другие шкалы порядка, можно использовать в педагогических исследованиях, но в этом случае необходимо применять адекватные методы обработки данных, не вычисляя "среднего балла". Корректной характеристикой набора балльных оценок является медиана (такое значение оценки, справа и слева от которого расположено одинаковое число оценок в их упорядоченной совокупности). Однако, при порядковых шкалах, имеющих малое число "разрядов" - "баллов", медиана малоинформативна (более подробно методы обработки результатов измерений в порядковой шкале рассмотрены ниже - в шестом разделе).

   По приведенным выше соображениям целесообразно использовать такие способы оценки, которые позволяют применить шкалу отношений или шкалу интервалов, а не шкалу порядка (шкалы наименований в педагогических исследованиях практически не используются). Например, использовать тесты - серии коротко и точно сформулированных вопросов, заданий и т.д., на которые учащийся должен дать краткие и однозначные ответы, в правильности (или неправильности) которых нельзя сомневаться. Результатом измерений будет число правильных ответов, которое уже может измеряться в шкале отношений. Точно так же могут быть построены письменные контрольные работы, результаты обработки анкет (процент учащихся, давших положительные ответы на тот или иной вопрос) и т.д.

   В общем же случае можно выделить следующие характеристики, измеряемые в шкале отношений [18]:

   - временные (время выполнения действия, операции, время реакции, время, затрачиваемое на исправление ошибки, и т.д.);

   - скоростные (производительность труда, скорость реакции, движения и т.д. - величины, обратные времени);

   - точностные (величина ошибки в мерах физических величин (миллиметрах, углах и т.п.), количество ошибок, вероятность ошибки, вероятность точной реакции, действия и т.д.);

   - информационные (объем заучиваемого материала, перерабатываемой информации, объем восприятия и т.д.).

   Методы обработки величин, измеренных в шкале отношений, рассмотрены ниже - в шестом разделе.

   В заключение настоящего подраздела приведем некоторые типичные (то есть, наиболее часто встречающиеся в диссертационных исследованиях по педагогике, анализ которых приведен ниже в четвертом разделе) характеристики: уровень (степень) знаний, усвоения, обучаемости, компетентности, подготовки, адаптируемости, отношения, сформированности, удовлетворенности, профессионализма, самостоятельности, становления, развития и т.д.; качество обучения; эффективность деятельности (учебной, преподавательской, воспитательной, управленческой).

   Данные характеристики в диссертационных исследованиях в большинстве случаев измерялись в порядковой шкале (чаще всего, в двух-, трех- или пятибалльной), реже - в шкале отношений (количество учащихся, успешно выполнивших задание или набравших тот или иной балл; объем усвоенного материала; время, затрачиваемое на изучение установленного объема учебного материала и т.д.).

   Как правило, в любом педагогическом эксперименте имеется значительное число (десятки, сотни, а иногда и тысячи) участников - учеников, учителей, образовательных учреждений и т.д. В результате измерения показателей этих участников получается набор их индивидуальных оценок. Понятно, что сравнивать между собой и анализировать одновременно все индивидуальные оценки невозможно, да и нецелесообразно, так как всегда существует их разброс, обусловленный неконтролируемым различием участников эксперимента (каждый человек неповторим).

   Поэтому для того, чтобы, во-первых, получить обозримое число характеристик и, во-вторых, для того, чтобы сгладить индивидуальные колебания, используют так называемые агрегированные (коллективные, групповые, производные) оценки. Например, если имелись индивидуальные оценки успеваемости учеников, то агрегированной оценкой будет успеваемость группы.

   Получение агрегированных оценок на основании индивидуальных является их преобразованием, и преобразование это следует выполнять корректно (см. обсуждение проблемы адекватности выше). Приведем некоторые корректные процедуры агрегирования для наиболее распространенных в педагогических исследованиях показателей (см. также раздел 6.1 "Описательная статистика").

   Для абсолютных величин, измеренных в шкале отношений (см. их перечисление выше), наиболее типичным является вычисление среднего арифметического по группе. Эта процедура вполне корректна, и обычно ее реализация не вызывает затруднений.

   Наибольшее число ошибок в педагогических исследованиях возникает при агрегировании показателей, измеренных в порядковых шкалах - пресловутый "средний балл" неискореним! Еще раз повторим - не следует складывать, вычитать, умножать или делить баллы друг на друга, да и на чтобы то ни было - все это абсолютно бессмысленные операции.

   Если имеется набор индивидуальных баллов, то единственной адекватной характеристикой группы будет число ее членов, получивших тот или иной балл (например, 20 человек получили балл "4"). (Отметим, что такая агрегированная характеристика группы как число ее членов (например, учащихся), получивших данный балл, является величиной, измеренной в шкале отношений.) Аналогичным образом агрегируется и информация о выделении уровней - если введены три уровня (например, уровни знаний: низкий, средний и высокий) и имеется информация о распределении всех членов нескольких групп (контрольных или экспериментальных) по этим уровням, то агрегированной информацией об объединенной группе будет число ее членов, обладающих тем или иным уровнем знаний (вычисляемое как сумма по всем группам числа их членов, обладающих данным уровнем знаний) - соответствующие примеры приводятся ниже.

   Если в настоящем разделе речь шла об агрегировании индивидуальных оценок по группе с целью получения характеристик группы в целом, то в следующем разделе рассматривается проблема агрегирования показателей, характеризующих один и тот же объект.

   Нередко встречаются случаи, когда какое-либо изучаемое явление, процесс характеризуется несколькими показателями - вектором показателей. При этом часто возникает вопрос о возможности однозначной оценки этого явления, процесса или изучаемых их свойств одной величиной - комплексной оценкой. Так, во многих спортивных состязаниях победитель выявляется по сумме очков, баллов, набранных на отдельных этапах состязания или в отдельных играх, в многоборье - в отдельных видах спорта. Или же другой пример из образовательной практики - аккредитация учебного заведения производится на основании оценки результатов его деятельности по фиксированному и утвержденному Министерством образования РФ набору показателей (квалификация преподавателей, обеспеченность учащихся методическими материалами и т.д.).

   На практике комплексные оценки встречаются довольно часто и, очевидно, без них не обойтись, хотя способы их определения нередко и вызывают множество недоуменных вопросов. Но в любом случае такие комплексные оценки, применяемые в повседневной жизни, являются либо результатом определенных общественных соглашений, которые признаются всеми участниками, либо установлены каким-либо нормативным актом определенного директивного органа - министерства, ведомства и т.д. и в силу этого также признаются всеми заинтересованными лицами.

   Другое дело - применение комплексных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической, строгости применяемой оценки. В частности, не вызывает сомнений возможность использования такой векторной оценки, как суммарные затраты времени на выполнение учащимся отдельных заданий, или суммарное количество ошибок, допущенных учащимся при выполнении отдельных заданий. Здесь суммируются однородные величины, заданные шкалами отношений.

   Но, как только начинают суммироваться баллы, выставляемые одному и тому же учащемуся за выполнение, допустим, разных заданий - исследование сразу выходит за рамки научной строгости. Как уже говорилось, операция суммы для порядковой шкалы не определена. Если 5 + 2 = 4 + 3, то "5" и "2" балла - это не одно и то же, что "4" и "3" балла!

   Между тем суммирование баллов довольно часто встречается в диссертациях по педагогике. Так, в одной работе диссертант для оценки деятельности учителей использовал большое количество показателей, оцениваемых по пятибалльной шкале [15]:

   - структура знаний учителя (общенаучные, специальные);

   - педагогические умения (проективные, конструктивные, организаторские, коммуникативные, гностические);

   - нравственно-психологическая направленность педагога (внимательность к людям, справедливость, гуманизм, увлеченность делом, ответственность, самоорганизованность);

   - общая одаренность (качества ума, качества речи, качества воли, характера, эмоциональные и другие качества личности) и так далее.

   Общая же оценка учителю в этой работе давалась по сумме набранных баллов. Но в данном случае диссертант должен был бы задаться большой серией вопросов. Во-первых, любой учитель - личность, он осуществляет сложнейшую деятельность, и насколько правомерно оценивать его однозначно каким-то числом баллов и утверждать, что учитель Иванов, допустим, хуже учителя Петрова на 11 баллов?! Во-вторых, насколько выделенные качества равнозначны, что к примеру специальные знания "стоят" сколько же, сколько гуманизм?! Кроме того, вычисление суммы подразумевает взаимозаменяемость критериев, то есть, снижение общей одаренности на один балл может быть компенсировано таким же увеличением оценки педагогических умений?! (Данное замечание справедливо и для величин, измеряемых в шкалах отношений.) И так далее, эту череду недоуменных вопросов можно было бы продолжать долго. И если бы диссертант над ними задумался, вряд ли бы он так легко вводил подобные "оценки".

   В педагогических диссертациях, к сожалению, встречаются и другие, самые разнообразные неудачные попытки введения комплексных оценок, вплоть до полных курьезов. Так, для оценки эффективности деловой игры в одной из диссертационных работ была использована следующая "формула": Р = 50 - К - (В - 40), где Р - "комплексная" оценка в баллах, 50 - максимально возможное количество баллов, К - количество замечаний, сделанных ведущим, В - время в минутах. Как видим, здесь уж, что называется, "смешались в кучу кони, люди...". Под знак суммы (разности) поставлены совершенно разнородные величины: баллы, количество замечаний, время. Кроме того, в некоторых работах предметом "исследования" является построение подобных комплексных оценок, и на полном серьезе приводятся "обоснования", чем предлагаемая автором оценка лучше других ей подобных.

   В некоторое оправдание подобным неверным построениям комплексных оценок следует отметить, что проблема агрегирования векторных оценок на сегодняшний день исследована не полностью, а существующие результаты, даже для их применения на практике, зачастую требуют хорошего знания высшей математики. Достаточно простым и интуитивно понятным (но, в то же время, корректным) методом агрегирования балльных оценок является использование так называемых матриц свертки [7, 19], элементы которых содержат значения агрегированного показателя, а агрегируемые баллы задают номер строки и столбца. Например, если с целью получения оценки знаний по естественнонаучным предметам агрегируются баллы, полученные по физике и по химии, то матрица свертки будет содержать баллы, соответствующие всем возможным комбинациям исходных оценок - можно условно считать, что, если по физике набраны 4 балла, а по химии - 3, то агрегированная оценка равна, допустим, трем баллам, если по физике набраны 3 балла, а по химии - 4, то агрегированная оценка равна четырем баллам (при этом приоритет явно отдается химии) и т.д. Как отмечалось выше, общим свойством порядковых шкал является то, что сравниваемые результаты их преобразований должны быть измеримы в исходной шкале - например, если используется пятибалльная шкала (1, 2, 3, 4 и 5), то результат агрегирования набора измерений может принимать только одно из этих пяти значений.

   Для тех, кто глубже заинтересуется проблемой комплексных оценок и принятия решений при многих критериях, можно рекомендовать ознакомиться с соответствующими публикациями [20, 24, 31]. Но в любом случае при построении комплексных оценок нужно быть предельно внимательным и осторожным. Кстати, нередко можно обойтись и без них. Если получены количественные результаты по отдельным показателям, то можно ограничиться их качественной интерпретацией, не "загоняя под общий знаменатель", проанализировать и сравнить исследуемые объекты отдельно по каждому из показателей. И пусть по каким-то показателям результаты экспериментальных групп будут лучше контрольных, а по каким-то хуже - от этого исследование только обогатится, станет достовернее [15].

   Для анализа применяемых в педагогических исследованиях статистических методов были использованы 118 успешно защищенных в различных диссертационных советах и утвержденных ВАК кандидатских и докторских диссертаций.

   Корректность применения статистических методов. К сожалению, в 65 диссертациях (55% от общего числа!) нет никаких упоминаний об измерении и обработке экспериментальных данных (за редким исключением описания констатирующих экспериментов), поэтому анализировать их мы не будем.

   В 16 из 53 оставшихся (53 = 118 - 65) диссертационных работ отсутствует сравнение начальных состояний контрольной и экспериментальной групп (при этом в 12 из упомянутых 16 работ контрольные группы отсутствовали вообще, то есть рассматривалась только динамика состояния "экспериментальной" группы - см. второй раздел выше). Эти 53 работы распределились по специальностям следующим образом: 13.00.01 - "Общая педагогика, история педагогики и образования" - 29 диссертаций, 13.00.08 - "Теория и методика профессионального образования" - 17 диссертаций, 13.00.02 - "Теория и методика обучения и воспитания" - 7 диссертаций.

   Если продолжить последовательно вычленять группу диссертационных исследований, в которых корректно использовались статистические методы, то получится следующая картина (см. также рисунок 3).

   Еще в 7 из 37 оставшихся (37 = 53 - 16) использовался "средний балл" (см. выше).

   В 14 из 30 оставшихся (30 = 37 - 7) работах упоминались методы, используемые при обработке данных (надо признать, что в большинстве (39 = 53 - 14) работ о методах нет ни слова, а, если и есть, то стандартные ни о чем не говорящие выражения, например: "выявлены статистические значимые различия исследуемых параметров в пользу экспериментальных групп"). И, в большинстве случаев, упоминались они "зря", так как в 8 работах (из 14!) использовались неадекватные методы.

   Остаются 22 работы (22 = 30 - 8). Мы не задавались целью самостоятельного определения уровня значимости (он упоминается только в 5 работах) всех полученных результатов, но сам по себе тот факт, что в такой считающейся экспериментальной науке, как педагогика, из 118 диссертаций лишь в 22, то есть менее чем в каждой пятой, применялись адекватные статистические методы (при этом мы не утверждаем, что они применялись правильно и сделанные выводы были ими, действительно, обоснованы), более чем огорчителен.

   Типовые задачи (случаи). Помимо неутешительных выводов, анализ диссертационных работ по педагогике позволил выделить типовые задачи анализа данных.

   1. Описательная статистика. В части работ, не использующих статистические методы в смысле структуры педагогического эксперимента, описанной выше во втором разделе, в иллюстративных целях применялись лишь некоторые показатели описательной статистики (описательной статистикой называется описание результатов эксперимента с помощью различных агрегированных показателей и графиков) краткое рассмотрение которой приведено в разделе 6.1 ниже.

   2. Величины, измеренные в шкале отношений. В данном классе задач результатом "измерений" являлись значения физических величин - время, затрачиваемое на выполнение упражнения; объем материала, усваиваемый в единицу времени; число и процент правильно выполненных заданий. Такие ситуации встречались в 5 диссертационных работах, что составляет около 10% от общего числа (53) работ, использующих статистические методы. Описание соответствующих статистических методов и примеры приведены ниже в разделе 6.3.

   3. Величины, измеренные в порядковой шкале. В данном классе задач результатом "измерений" являлись значения таких величин, как успеваемость, удовлетворенность, заинтересованность, качество и т.д. Измерялись они в баллах, уровнях, рейтингах, вербальных шкалах и других порядковых величинах (см. выше). Простейший случай - два уровня (справились с заданием, не справились) - дихотомическая шкала.

   Такие ситуации встречались в 43 диссертационных работах, что составляет более 80% от общего числа (53) работ, использующих статистические методы.

   Описание соответствующих статистических методов и примеры приведены ниже в разделе 6.4.

   4. Задачи, требующие использования "продвинутых" статистических методов. К задачам данного класса (обработки "сложных" данных) можно отнести:

   

• задачи обработки результатов опросов с закрытыми вопросами, в которых респонденты могли отмечать одновременно два или более ответа на один и тот же вопрос (одна диссертационная работа) - например: "Какие факторы влияют на эффективность обучения: содержание, методы, средства, подготовленность учащихся?";

   

• задачи анализа ранжировок, в которых исходными данными являются упорядочения объектов (две диссертационные работы) - например, упорядочение факторов, определяющих эффективность обучения, в порядке убывания их важности (с точки зрения участников проведенного опроса);

   

• задачи, требующие использования факторного и регрессионного анализа (две диссертационные работы).

   Так как данный класс задач (5 диссертационных работ) составляет менее 10% (5/53) от объема нашей выборки, то описывать соответствующие методы мы не будем, отослав заинтересованного читателя к многочисленным публикациям по теории и практике применения статистических методов в различных областях [1-5, 8-13, 21-23, 26-28, 30-33].

   Динамика и многокритериальность. Отдельно следует отметить, что данные, отражающие:

   

• динамику учебно-воспитательного процесса (динамика учитывается последовательностью измерений), встречались в 10 случаях из 53 (19 %) Под "динамическими" данными подразумеваются данные, содержащие более двух измерений состояний экспериментальной и контрольной группы (см. рисунок 1), то есть, помимо начального и конечного моментов времени, рассматривались и промежуточные;

   

• многокритериальность (каждый объект оценивается одновременно по нескольким критериям - см. раздел "Комплексные оценки" выше), встречались в 23 случаях из 53 (43 %);

   

• и динамику, и многокритериальность, встречались в 6 случаях из 53 (11 %)

   Следовательно, помимо попарных однократных сравнений экспериментальной и контрольной группы по одному из критериев, возникают задачи их сравнения в динамике, а также по совокупности критериев. Обсуждение методов решения этого класса задач содержится в следующем (пятом) разделе.

   Завершив анализ использования статистических методов в диссертационных исследованиях по педагогике и выделив типовые задачи, перейдем к формализации последних.

   Предположим, что имеется экспериментальная группа, состоящая из N человек, и контрольная группа, состоящая из M человек (где N и M - целые положительные числа, например, N = 25, M = 30). Допустим, что в результате измерения одного и того же показателя с помощью одной и той же процедуры измерений были получены следующие данные:

   x = (x₁, x₂, …, x_N) - выборка для экспериментальной группы (Выборка - совокупность значений одного и того же признака у наблюдаемых объектов. В рассматриваемом примере выборка представляет собой набор чисел, соответствующих количеству решенных учащимися задач.) и y = (y₁, y₂, …, y_M) - выборка для контрольной группы,

   где x_i - элемент выборки - значение исследуемого показателя (признака) у i-го члена экспериментальной группы, i = 1, 2, …, N, а y_j - значение исследуемого показателя у j-го члена контрольной группы, j = 1, 2, …, M. (Признак - свойство (характеристика) наблюдаемого объекта. В рассматриваемом примере признаком являются решенные задачи.) Число элементов выборки называется ее объемом - например, объем выборки x равен N, а объем выборки y равен M.

   В зависимости от того, в какой шкале - шкале отношений или порядковой шкале - производились измерения, получаем следующие два случая.

   Шкала отношений. Если измерения производились в шкале отношений (время, число и т.д.), то {x_i} и {y_j} - положительные, в том числе - натуральные, числа, для которых имеют смысл все арифметические операции.

   Рассмотрим пример. (Данный пример рассматривается на протяжении всего настоящего и последующего разделов. Все таблицы, диаграммы и графики экспортированы из компьютерной программы Microsoft Excel для Windows.) Пусть имеется экспериментальная группа, состоящая из 25 человек (N = 25), и контрольная группа, состоящая из 30 человек (M = 30), и измерение заключается в определении уровня знаний путем проведения теста, включающего 20 задач. Примем, что характеристикой учащегося (признаком) является число правильно решенных им задач. Результаты измерений уровня знаний в контрольной и экспериментальной группах до и после эксперимента приведены в таблице 2, строки которой соответствуют членам групп (отдельным учащимся). Например, первый учащийся контрольной группы до начала эксперимента правильно решил 15 задач, а третий участник экспериментальной группы после окончания эксперимента правильно решил 12 задач.

   Вторым вариантом (помимо шкалы отношений) является порядковая шкала, поэтому приведем описание результатов педагогического эксперимента, измеренных в порядковой шкале.

   Порядковая шкала. Если использовалась порядковая шкала (шкала рангов) с L градациям (например, в пятибалльной школьной шкале L = 5), то будем считать, что {x_i} и {y_j} - натуральные числа, принимающие одно из L значений. Для простоты можно считать, что множество значений (баллов) есть множество чисел от единицы до L. Тогда характеристикой группы будет число ее членов, набравших заданный балл (см. раздел "Агрегированные оценки" выше). То есть, для экспериментальной группы вектор баллов есть

n = (n₁, n₂, …, n_L),

   где n_k - число членов экспериментальной группы, получивших k-ый балл, k = 1, 2, …, L. Для контрольной группы вектор баллов есть

m = (m₁, m₂, …, m_L),

   где m_k - число членов контрольной группы, получивших k-ый балл, k = 1, 2, …, L. Очевидно, что

n₁ + n₂ + … + n_L = N, m₁ + m₂ + … + m_L = M.

   Пусть в рассматриваемом примере (в котором (N = 25, M = 30) выделены три уровня знаний (L = 3): низкий (число решенных задач меньше либо равно 10), средний (число решенных задач строго больше 10, но меньше либо равно 15) и высокий (число решенных задач строго больше 15). Сформируем в компьютерной программе Microsoft Excel для Windows таблицу 3, в которой указаны верхние границы диапазонов.

   На этом прерываем изложение и переходим к списку литературы.

   1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 472 с.

   2. Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998. - 1022 с.

   3. Айвазян С.А., Мхитарян В.С. Прикладная статистика в задачах и упражнениях. М.: ЮНИТИ, 2001. - 270 с.

   4. Анализ нечисловой информации в социологических исследованиях. М.: Наука, 1985. - 220 с.

   5. Артемьева Е.Ю., Мартынов Е.М. Вероятностные методы в психологии. М.: МГУ, 1975.

   6. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1983. - 416 с.

   7. Бурков В.Н., Новиков Д.А. Как управлять организациями. М.: Синтег, 2004. - 404 с.

   8. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М.: Педагогика, 1977. - 136 с.

   9. Гласс Д., Стенли Д. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. - 495 с.

   10. Ительсон Л.Б. Математические и кибернетические методы в педагогике. М.: Просвещение, 1964. - 268 с.

   11. Крамер Г. Математические методы статистики. М.: Мир, 1975. - 648 с.

   12. Кыверялг А.А. Методы исследований в профессиональной педагогике. Таллин: Валгус, 1980. - 334 с.

   13. Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982. - 184 с.

   14. Новиков А.М. Докторская диссертация? М.: Эгвес, 2003. - 120 с.

   15. Новиков А.М. Как работать над диссертацией. М.: Эгвес, 2003. - 104 с.

   16. Новиков А.М. Методология образования. М.: Эгвес, 2002. - 320 с.

   17. Новиков А.М. Научно-экспериментальная работа в образовательном учреждении. М.: АПО РАО, 1998. - 134 с.

   18. Новиков Д.А. Закономерности итеративного научения. М.: ИПУ РАН, 1998 - 96 с.

   19. Новиков Д.А. Модели и механизмы управления развитием региональных образовательных систем. М.: ИПУ РАН, 2001. - 83 с.

   20. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. М.: Физматлит, 2002. - 176 с.

   21. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1986. - 294 с.

   22. Орлов А.И. Эконометрика. М.: Экзамен, 2003. - 576 с.

   23. Паповян С.С. Математические методы в социальной психологии. М.: Наука, 1983.

   24. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982. - 386 с.

   25. Пфанцагль И. Теория измерений. М.: Мир, 1976. - 248 с.

   26. Сидоренко Е.В. Методы математической обработки в психологии. СПб.: Речь, 2000. - 350 с.

   27. Смирнов Н.В., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. М.: Наука, 1969.

   28. Справочник по прикладной статистике. М.: Финансы и статистика. Том 1, 1989. - 510 с., Том 2, 1990. - 526 с.

   29. Суппес П., Зинес Д. Основы теории измерений / Психологические измерения. М.: Мир, 1967. С. 9 - 110.

   30. Суходольский Г.В. Основы математической статистики для психологов. Л.: ЛГУ, 1972. - 428 с.

   31. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: Синтег, 1998. - 376 с.

   32. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998. - 528 с.

   33. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.