Здравствуйте, тезка.
Прочитал ваш вопрос и ответы на него. Ничего конкретного не нашел,
поэтому и решил написать. В принципе, нет ничего удивительного в том,
что ответы давались очень абстрактные, ибо сам вопрос был достаточно
неопределенным. Постараюсь указать вам правильное направление.
Для обработки "сырых", как вы говорите, данных используются с успехом
многие статистические методы. Арсенал их, в самом деле, довольно
обширный. А использование их зависит от цели исследования. Так, для
исследования связи между случайными величинами используется
корреляционный анализ; для нахождения зависимости целевой функции
(параметра оптимизации, функции отклика - все это синонимы) от
независимых переменных (предикторов ,факторов и т.п) используется
регрессионный анализ. Дисперсионный анализ позволяет путем разложения
дисперсии на внутригрупповую и межгрупповую ответить на вопрос,
является ли статистически значимым исследуемый фактор. И т.д.
Задаваясь целью, например, минимизировать ошибку опыта и максимальным
образом использовать тот дефицит информации, который всегда является
"тормозом" исследования, используют эксперименты, которые планируются
особым образом. Наука, занимающаяся такими экспериментами, называется
планированием эксперимента. И опять же в зависимости от целей и задач
возможны разные виды экспериментов. Если число факторов велико и нужно
выделить наиболее значимые из них, используются например, отсеивающие
эксперименты, или, например, метод экспертных оценок (когда эксперты
выставляют факторам их ранги и, рассчитывая особым образом ранги,
присвоенные каждым из экспертов, можно выделить наиболее существенные
из них; кстати, одновременно проверяется согласованность мнений
экспертов по рассчитанной величине коэффициента конкордации). Есть
полные факторные эксперименты (или дробные реплики от них), которые
позволяют находить вид функции отклика. Есть метод последовательного
планирования на симплексе, используемый для нахождения точки оптимума.
Есть метод крутого восхождения, применяемый для той же самой цели.
Короче, есть много всего, и разобраться даже с основами вряд ли можно
за несколько лет. Но говоря о ваших экспериментах, следует обратить
внимание прежде всего на экспертные оценки и на непараметрические
методы статистики. С экспертами вроде бы все понятно, а вот о
непараметрических методах следует сказать отдельно. Суть в том, что в
основе классических статистических методов (дисперсионный,
регрессионный анализ и т.д.) лежит ряд положений и допущений, и если
хоть одно их них нарушается, то достоверность и состоятельность таких
оценок будет далека от идеала. Так, при регрессионном анализе обычно
всегда закрываются глаза на положение о нормальном распределении
случайной величины, чего вообще говоря не следует делать. Но многое
принимается на веру и никак не проверяется, ибо зачем "париться", если
никто толком об этом не знает. Страдает лишь достоверность
результатов. Т.е. практически все методы так или иначе связаны с
законом распределения случайной величины. Но есть и такие методы
статистики, которые являются свободными от распределения, а
следовательно не требуется проверка каких-либо положений о форме
кривой распределения, и это никак не повлияет на конечный результат.
Такие методы называются устойчивыми, робастными. Не требуется проверка
никаких положений и в непараметрических методах статистики, в методе
порядковых статистик и т.п. Говоря проще, вам нужно использовать эти
методы, т.к. психология оперирует зачастую не с количественными
переменными, а с качественными, что и является специфичным для вас, и
вместе с тем является возможностью и большим плюсом этих методов.
Рекомендую для вас следующую литературу:
Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии.
1976, 495 с.
Грабарь М.И., Краснянская К.А. Применение математической статистики в
педагогических исследованиях. Непараметрические методы. 1977, 136 с.
Гублер Е.В., Генкин А.А. Применение непараметрических критериев
статистики в медико-биологических исследованиях. 1973, 141 с.
Миркин Б.Г. Анализ качественных признаков и структур. 1980, 319 с.
Орлов А.Н. Устойчивость в социально-экономических моделях. 1979, 296
с.
Рунион Р. Справочник по непараметрической статистике. Современный
подход. 1982, 198 с.
Тарасенко Ф.П. Непараметрическая статистика. 1976, 292 с.
Джессен Р. Методы статистических обследований. 1985, 478 с.
Бейли Н. Статистические методы в биологии. 1964, 326 с.
Фишер Р. А. Статистические методы для исследователей. 1958, 267 с.
Поищите что-либо из этих книг в вашей университетской (или любой
другой) библиотеке. В интернете можете не искать - скорее всего
потратите время впустую.
А вообще, вопрос ваш очень непростой. Что касается меня, то я именно
этим вплотную не занимался, хотя интересуюсь очень давно ради общего
развития.
Желаю удачи.
