Конференция посвящена актуальным тенденциям в развитии методов сбора и анализа полевых данных, методологическим подходам к исследованию современной российской реальности, а также вопросам оценки качества процедур исследования. Обсудим, с какими научными областями связаны научно-исследовательские работы по тематике конференции.

Полевые данные - это, прежде всего, данные выборочных исследований. Выборочные методы широко применяются в научных медицинских исследованиях, при изучении качества продукции, в производственном менеджменте, в биологических, химических и других научных и прикладных исследованиях. Другими словами, выборочные методы - часть прикладной статистики, т.е. науки о том, как обрабатывать данные [1]. Социологическая специфика в выборочных исследованиях, на наш взгляд, в большинстве случаев не выражена.

Отметим, что ряд прикладных областей - маркетинг (изучение предпочтений потребителей, рекламное дело), управление персоналом, отношения с общественностью и другими заинтересованными сторонами и др. - рассматриваются как социологией, так и экономикой в качестве своих составных частей. По крайней мере, подготовка студентов и защита диссертаций, относящихся к этим областям, проводятся как в экономических, так и в социологических учебных структурах и диссертационных советах.

Это не случайно. Согласно современным воззрениям управленческие решения следует принимать на основе всей совокупности социальных, технологических, экономических, экологических, политических факторов. Все эти факторы следует рассматривать совместно.

Может показаться, что речь идет об очевидном - единстве окружающего нас мира и вытекающего из этого тривиального факта единстве науки. Однако отечественная наука искусственно разбита на отдельные части - социологию, экономику, математику, медицину и т.д. Сначала деление было создано для удобства управления, затем перегородки укрепились и стали почти непроницаемыми. Давно придуманное деление мешает развитию науки. В частности, тем, что оно игнорирует самостоятельное существование такой научной области, как "статистические методы", если угодно, "прикладная статистика".

Между тем хорошо известно, что в США число специалистов по статистическим методам существенно больше, чем математиков. А вот в нашей стране математика есть как самостоятельная наука (со своими факультетами, институтами, журналами, диссертационными советами), а прикладная статистика - официально отсутствует.

Есть математическая специальность "теория вероятностей и математическая статистика", её представители заняты доказыванием теорем, не имеющих отношения к реальному миру и ничего не дающих тем, кто обрабатывает конкретные данные. Внутри экономической науки есть специальность "статистика", ее представители заняты удовлетворением ведомственных интересов Росстата и действуют на уровне позапрошлого (т.е. XIX) века. А всего остального - статистических методов в технике, управлении, экономике, социологии, медицине, истории и т.д. - с точки зрения официальных органов нет.

Статистические методы развиваются на нелегальном положении. Конечно, нелегалы находят те или иные легальные прикрытия. В СССР статистические методы в медицине выступали под знаменем медицинской кибернетики (не знаю, как обстоит дело сейчас). Статистические методы в технических науках маскировались под "математические методы в научных исследованиях" (конечно, смешно быть доктором технических наук, ничего не понимающим в технике, как автору этих строк). Статистические методы в экономике, т.е. эконометрика, проходят в рамках специальности "Математические и инструментальные методы экономики" (именно по этой специальности автор защитил свою вторую докторскую диссертацию). Связь с экономической практикой может полностью отсутствовать.

Вопрос "Кто виноват?" не является актуальным. Проанализируем последствия уродливого развития отечественной науки и обсудим возможные пути исправления ситуации.

Последствия достаточно понятны. В каждой камере, выделенной делениями официальной науки, оказалось некоторое число лиц, применяющих (а иногда и развивающих) статистические методы. В области социологии - это многие из тех, кто собрался на настоящую конференцию. Веря в обоснованность официального деления, они замкнулись внутри своей группы. Всё, что делается в других камерах - их не интересует. Они ничего не знают и - главное - не хотят знать о внешнем мире.

К чему это приводит? К замкнутости внутри своего круга, т.е. к групповщине. Читают только своих, цитируют только своих. А поскольку группа небольшая, и - так уж случилось - нет внутри нее специалистов по математическим методам статистики и анализа данных, происходит понижение общего научного уровня. Ошибки накапливаются, попадая в учебники, энциклопедические издания. Готовя доклад, я долго думал, давать ли здесь перечень ошибок известных участников настоящей конференции, подобный содержанию интернет-ресурса "Профессора-невежды готовят себе на смену новых невежд" [2]. Хотелось порассуждать о том, что кусочно-постоянная функция отличается от непрерывной. Или вот рассуждение, попавшее в энциклопедическое издание. Бесспорно совершенно, что многие переменные признаки, изучаемые в ходе социологических исследований, интегрируют в себе большую совокупность не связанных друг с другом экономических, психологических и других факторов, каждый из которых оказывает на итоговую переменную сравнительно слабое влияние. Автор рассматриваемого утверждения почему-то считает, что согласно Центральной предельной теореме теории вероятностей такие итоговые переменные должны быть распределены нормально. Это верно, если справедлива аддитивная модель - влияющие на нее факторы складываются. А если верна мультипликативная модель - влияющие факторы перемножаются, то из той же Центральной предельной теоремы следует, что итоговые переменные должны быть распределены логарифмически нормально (т.е. не они сами, а их логарифмы распределены нормально).

Несколько иной эффект встретился мне в теории классификации. Она - междисциплинарна, и ясно это было давно. В 80-е годы активно действовала Комиссии по классификации Всесоюзного совета научно-технических обществ во главе с член-корр. АН СССР Г.Б. Бокием, включавшая около тысячи специалистов. И вот - социологи пишут про типологию и классификацию, игнорируя всё, что "за забором". Чтобы чуть-чуть исправить положение, укажу на обзор [3] со 126 литературными ссылками, неизвестными социологам.

Впрочем, судя по учебникам (!) для студентов-социологов, некоторые их авторы еще не освоили аксиоматику теории вероятностей по А.Н. Колмогорову (1933 год!) и не понимают, что для описания, изучения, сравнения методов анализа данных надо сначала ввести вероятностно-статистическую модель порождения данных в терминах современной теории вероятностей. Смешно читать про какой-то "комплекс условий", который должен повторяться... Достаточно вспомнить про проверку статистических гипотез, которая обычно проводится на основе всего лишь одного случайного значения. Если это значение попадает в определенную область, то принимается первая гипотеза, если не попадает - вторая. Никакого повторения "комплекса условий"...

Игнорируется не только сделанное снаружи, но и сделанное здесь же, но давно. Мне об этом уже приходилось писать [4], соответствующий доклад помещен в материалах предыдущей конференции [5], полемическое выступление включено в "Дискуссию о социологии" на официальном сайте Российского общества социологов [6].

Этот сюжет можно было бы развить, называя конкретные фамилии, проводя ссылки на источники. Однако я не стал этого делать, поскольку опасаюсь, что моя критика была бы адресована наиболее достойным ученым, с которыми меня связывают десятилетия движения по параллельным путям в науке, а деятельность менее квалифицированных лиц осталась бы без адекватной оценки.

Подводя итоги первой части настоящей работы, констатируем, что методы сбора и анализа полевых данных - это предмет не только социологии, но и теории выборочных исследований как части прикладной статистики.

Вторая часть тематики конференции - методологические подходы к исследованию современной российской реальности - также интердисциплинарна. Изучение поведения потребителей (маркетинг) и работников (управление персоналом) тяготеют к экономике, динамики семейных отношений - к демографии, политических процессов - к политологии, проблем самоубийств - к криминальной статистике, и т.д., и т.п.

Знаковой фигурой XXI в. является американский исследователь Даниэль Канеман (Daniel Kahaneman), получивший Нобелевскую премию по экономике за 2002 г. В ходе ряда экспериментов Канеману удалось доказать, что в своей повседневной жизни большинство людей не руководствуются здравым смыслом. Канеману впервые удалось ввести в экономику понятие человеческого фактора, объединить в единую науку психологию и экономику. Интересно, что лауреат Нобелевской премии по экономике никогда экономике не учился, а всю жизнь занимался психологией, конкретно - психологией выбора повседневных экономических решений. Экономисты до Д. Канемана, начиная с А. Смита, делали одну и ту же ошибку - они предполагали, что человек руководствуется элементарной логикой и собственной выгодой - покупает там, где дешевле, работает там, где больше платят, из двух товаров одинакового качества выберет тот, который дешевле. Исследования Д. Канемана показали, что все не так просто. Люди, оказывается, не хотят думать. Они руководствуются не логикой, а эмоциями, случайными импульсами; тем, что вчера слышали по телевизору, или от соседа, устоявшимися предрассудками, рекламой и т. д. Работы Д. Канемана - сплав экономики, социологии и психологии. Чем и интересны, показывая вектор дальнейшего развития общественных наук, необходимость разрушения искусственных перегородок между науками.

Третья часть тематики конференции - вопросы оценки качества процедур исследования. Здесь мы обратим внимание на брошюру [7] по прикладной статистике, посвященную основным требованиям к методам обработки данных, и характеристикам этих методов, а также на методику сравнительного анализа родственных эконометрических моделей, помещенную в качестве приложения 3 к учебнику "Эконометрика" [8]. Однако в рамках настоящего доклада сосредоточимся на двух примерах - на оценке качества процедур усреднения и алгоритмов диагностики.

Среди актуальных направлений, в которых развиваются математические методы исследования, обычно выделяют статистику объектов нечисловой природы, а в ней как одну из важнейших составных частей - теорию измерений. За последние десятилетия теория измерений прошла путь от малоизвестного раздела математической психологии до общенаучной концепции, знакомство с которой признается обязательным для исследователей и студентов самых разных специальностей.

Теория измерений исходит из того, что арифметические действия с используемыми в практической работе числами не всегда имеют смысл. Например, зачем складывать или умножать номера телефонов? Далее, не всегда выполнены привычные арифметические соотношения. Например, сумма знаний двух двоечников не равна знаниям "хорошиста", т.е. для оценок знаний 2+2 не равно 4. Приведенные примеры показывают, что практика использования чисел для описания результатов наблюдений (измерений, испытаний, анализов, опытов) заслуживает методологического анализа.

Основные шкалы измерений - наименований (номинальная), порядковая, интервалов, отношений, разностей, абсолютная - подробно описаны в литературе [9]. Используют и иные типы шкал [10]. В настоящее время считается необходимым перед применением тех или иных алгоритмов анализа данных установить, в шкалах каких типов измерены рассматриваемые величины.

Выяснение типов используемых шкал необходимо для адекватного выбора методов анализа данных. Основополагающим требованием является независимость выводов от того, какой именно шкалой измерения воспользовался исследователь (среди всех шкал, переходящих друг в друга при допустимых преобразованиях). Например, если речь о длинах, то выводы не должны зависеть от того, измерены ли длины в метрах, аршинах, саженях, футах или дюймах. Другими словами, выводы должны быть инвариантны относительно группы допустимых преобразований шкалы измерения. Только тогда их можно назвать адекватными, т.е. избавленными от субъективизма исследователя, выбирающего определенную шкалу из множества шкал заданного типа, связанных допустимыми преобразованиями. Требование инвариантности выводов накладывает ограничения на множество возможных алгоритмов анализа данных. В качестве примера рассмотрим порядковую шкалу. Одни алгоритмы анализа данных позволяют получать адекватные выводы, другие - нет. Например, в задаче проверки однородности двух независимых выборок алгоритмы ранговой статистики (т.е. использующие только ранги результатов измерений) дают адекватные выводы, а статистики Крамера-Уэлча и Стьюдента - нет. Значит, для обработки данных, измеренных в порядковой шкале, критерии Смирнова и Вилкоксона можно использовать, а критерии Крамера-Уэлча и Стьюдента - нет.

Оказывается, требование инвариантности является достаточно сильным. Из многих алгоритмов анализа статистических данных ему удовлетворяют лишь некоторые. Покажем это на примере сравнения средних величин.

Пусть Х₁, Х₂,..., Х_n - выборка объема n. Наиболее общее понятие средней величины введено французским математиком первой половины ХIХ в. академиком О. Коши. Средней величиной (по Коши) является любая функция f(X₁, X₂,...,X_n) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X₁, X₂,...,X_n, и не больше, чем максимальное из этих чисел. Средними по Коши являются среднее арифметическое, медиана, мода, среднее геометрическое, среднее гармоническое, среднее квадратическое.

Средние величины используются обычно для того, чтобы заменить совокупность чисел (выборку) одним числом, а затем сравнивать совокупности с помощью средних. Пусть, например, Y₁, Y₂,...,Y_n - совокупность оценок экспертов, "выставленных" одному объекту экспертизы, Z₁, Z₂,...,Z_n - второму. Как сравнивать эти совокупности? Очевидно, самый простой способ - по средним значениям.

При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом как основное требование в теории измерений). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы.

Пусть f(X₁, X₂,...,X_n) - среднее по Коши. Пусть среднее по первой совокупности меньше среднего по второй совокупности:

f(Y₁, Y₂,...,Y_n) < f(Z₁, Z₂,...,Z_n).

Тогда согласно теории измерений для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g (из группы допустимых преобразований в соответствующей шкале) было справедливо также неравенство

f(g(Y₁), g(Y₂),...,g(Y_n)) < f(g(Z₁), g(Z₂),...,g(Z_n)),

т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть выполнено для любых двух совокупностей Y₁, Y₂,...,Y_n и Z₁, Z₂,...,Z_n. И, напомним, для любого допустимого преобразования. Средние величины, удовлетворяющие сформулированному условию, назовем допустимыми (в соответствующей шкале). Согласно теории измерений только допустимыми средними величинами можно пользоваться при анализе мнений экспертов и иных данных, измеренных в рассматриваемой шкале.

С помощью математической теории, развитой в монографии [11], удается описать вид допустимых средних величин в основных шкалах. Рассмотрим обработку, для определенности, мнений респондентов или экспертов, измеренных в порядковой шкале. Справедливо следующее утверждение.

Теорема 1. Из всех средних по Коши допустимыми средними в порядковой шкале являются только члены вариационного ряда (порядковые статистики).

Теорема 1справедлива при условии, что среднее f(X₁, X₂,...,X_n) является непрерывной (по совокупности переменных) и симметрической функцией. Последнее означает, что при перестановке аргументов значение функции f(X₁, X₂,...,X_n) не меняется. Это условие является вполне естественным, ибо среднюю величину находим для совокупности (множества) чисел, а не для последовательности. Множество не меняется в зависимости от того, в какой последовательности мы перечисляем его элементы.

Согласно теореме 1 в качестве среднего для данных, измеренных в порядковой шкале, можно использовать, в частности, медиану (при нечетном объеме выборки). При четном же объеме следует применять один из двух центральных членов вариационного ряда - как их иногда называют, левую медиану или правую медиану. Моду тоже можно использовать - она всегда является членом вариационного ряда. Можно применять выборочные квартили, минимум и максимум, децили и т.п. Но никогда нельзя рассчитывать среднее арифметическое, среднее геометрическое и т.д.

Естественная система аксиом (требований к средним величинам) приводит к так называемым ассоциативным средним. Их общий вид нашел в 1930 г. А.Н.Колмогоров [12]. Теперь их называют "средними по Колмогорову". Для чисел X₁, X₂,...,X_n средним по Колмогорову является

G{(F(X₁) + F(X₂) +...+ F(X_n))/n},

где F - строго монотонная функция (т.е. строго возрастающая или строго убывающая), G - функция, обратная к F. Среди средних по Колмогорову - много хорошо известных персонажей. Так, если F(x) = x, то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x, то среднее геометрическое, если F(x) = 1/x, то среднее гармоническое, если F(x) = x², то среднее квадратическое, и т.д. (в последних трех случаях усредняются положительные величины).

Среднее по Колмогорову - частный случай среднего по Коши. С другой стороны, такие популярные средние, как медиана и мода, нельзя представить в виде средних по Колмогорову. Справедливы следующие утверждения.

Теорема 2. В шкале интервалов из всех средних по Колмогорову допустимым является только среднее арифметическое.

Таким образом, среднее геометрическое или среднее квадратическое температур (в шкале Цельсия), потенциальных энергий или координат точек не имеют смысла. В качестве среднего надо применять среднее арифметическое. А также можно использовать медиану или моду.

Теорема 3. В шкале отношений из всех средних по Колмогорову допустимыми являются только степенные средние с F(x) = x^с, с<>0, и среднее геометрическое.

Есть ли средние по Колмогорову, которыми нельзя пользоваться в шкале отношений? Конечно, есть. Например, с F(x) = e^x. Среднее геометрическое является пределом степенных средних при c->0. Теоремы 2 и 3 справедливы при выполнении некоторых внутриматематических условий регулярности.

На наш взгляд, теоремы 1-3 должны быть известны всем студентам-социологам. (Как и все, я не могу претендовать на полное знание литературы. Буду благодарен за указание учебников для социологов, в которых приведены теоремы 1-3.)

Аналогично средним величинам могут быть изучены и другие статистические характеристики - показатели разброса, связи, расстояния и др. Нетрудно показать, например, что коэффициент корреляции не меняется при любом допустимом преобразовании в шкале интервалов, как и отношение дисперсий. Дисперсия не меняется в шкале разностей, коэффициент вариации - в шкале отношений, и т.д.

Перейдем к оценке качества алгоритмов диагностики. Результаты обработки реальных данных с помощью некоторого алгоритма диагностики в случае двух классов описываются долями правильной диагностики a - в первом классе и b - во втором, с учетом долей классов в объединенной совокупности c(i), i = 1, 2, c(1) + c(2) = 1.

Нередко [13] как показатель качества алгоритма диагностики (прогностической "силы") используют долю правильной диагностики m = c(1)a + c(2)b. Однако показатель m определяется, в частности, через характеристики c(1), c(2), частично заданные исследователем (например, на них влияет тактика отбора респондентов или образцов для изучения).

В аналогичной медицинской задаче величина m оказалась больше для тривиального прогноза, согласно которому у всех больных течение заболевания будет благоприятно. Тривиальный прогноз сравнивался с алгоритмом выделения больных с прогнозируемым тяжелым течением заболевания. Он был разработан группы под руководством академика АН СССР И.М. Гельфанда. Применение этого алгоритма с медицинской точки зрения вполне оправдано [14]. Итак, по доле правильной классификации m алгоритм группы И.М. Гельфанда оказался хуже тривиального - объявить всех больных легкими, не требующими специального наблюдения. Этот вывод очевидно нелеп. И причина появления нелепости вполне понятна. Хотя доля тяжелых больных невелика, но смертельные исходы сосредоточены именно в этой группе больных. Поэтому целесообразна гипердиагностика - рациональнее часть легких больных объявить тяжелыми, чем сделать ошибку в противоположную сторону.

Разберем ситуацию подробнее. Пусть имеется некоторый алгоритм диагностики на два класса с долями правильной диагностики a - в первом классе и b - во втором. Сравним его с двумя тривиальными алгоритмами диагностики. Первый тривиальный алгоритм относит все классифицируемые объекты к первому классу, для него a = 1 и b = 0, следовательно, m = c(1). Второй тривиальный алгоритм относит все классифицируемые объекты ко второму классу, для него a = 0 и b = 1, следовательно, m = c(2).

В качестве показателя качества алгоритма диагностики будем использовать долю правильной диагностики. Когда первый тривиальный алгоритм лучше исходного? Когда c(1) > c(1)a + c(2)b, т.е. b / (1 - a + b) < c(1) (с учетом того, что c(1) + c(2) = 1). Когда второй тривиальный алгоритм лучше исходного? Когда c(2) > c(1)a + c(2)b, т.е. c(1) < (1 - b) /(1 + a - b). Таким образом, для любого заданного алгоритма диагностики существуют границы d(1) и d(2) для доли первого класса с(1) в объединенной контрольной выборке такие, что при с(1) < d(1) рассматриваемый алгоритм хуже второго тривиального алгоритма, а при с(1) > d(2) он хуже первого тривиального алгоритма.

Поэтому мы полагаем, что использовать в качестве показателя качества алгоритма диагностики долю правильной диагностики нецелесообразно.

Предлагаем применять метод пересчета на модель линейного дискриминантного анализа [15], согласно которому показателем качества алгоритма диагностики является т.н. "прогностическая сила", а статистической оценкой "прогностической силы" h является "эмпирическая прогностическая сила" h* = Ф(d*/2), d* = G(a) + G(b), где Ф(x) - функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1, а G(y) - обратная ей функция.

Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется классический линейный дискриминантный анализ Р.Фишера, то величина d* представляет собой состоятельную статистическую оценку расстояния Махаланобиса между двумя рассматриваемыми совокупностями, причем независимо от порогового значения, определяющего конкретное решающее правило. В общем случае показатель h* вводится как эвристический. Распределение статистики h* является асимптотически нормальным, что позволяет строить доверительные интервалы для прогностической силы h (см. [16] и другие наши учебники).

Как проверить обоснованность пересчета на модель линейного дискриминантного анализа? Допустим, что классификация состоит в вычислении некоторого прогностического индекса у и сравнении его с заданным порогом с. Объект относят к первому классу, если у<с, ко второму, если у>с. Прогностический индекс - это обычно линейная функция от характеристик рассматриваемых объектов. Возьмем два значения порога с₁ и c₂. Если пересчет на модель линейного дискриминантного анализа обоснован, то, как можно показать, "прогностические силы" для обоих правил совпадают: h(с₁) = h(c₂). Выполнение этого равенства можно проверить как статистическую гипотезу. Расчетные алгоритмы предложены нами в цитированной работе 1987 г. и включены в наши учебники, цитированные на протяжении настоящей статьи.

Организационные меры, которые целесообразно использовать для исправления явно ненормальной ситуации в той научной области, которой посвящена настоящая конференция, достаточно очевидны. Надо проанализировать сделанное в самой этой области и в прилегающей к ней, в которых развиваются и применяются статистические методы. Для этого необходима интеллектуальная работа и соответствующие ресурсы, кадровые и финансовые. Не только необходима научная и учебная специальность "Математические методы в социологии", но и обеспечивающая ее инфраструктура - сеть научных учреждений и подразделений, журналов, конференций, диссертационных советов и т.д. Иначе можно умереть от жажды, сидя на каменном островке посередине реки и громко крича: "Ау, мы отстали! Где вода?".

1. Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 671 с.

2. Форум сайта "Высокие статистические технологии" http://forum.orlovs.pp.ru/index.php, раздел "Статистические методы", тема "Профессора-невежды готовят себе на смену новых невежд" http://forum.orlovs.pp.ru/viewtopic.php?t=548 .

3. Орлов А.И. О развитии математических методов теории классификации. - Журнал "Заводская лаборатория". 2009. Т.75. No.7. С.51-63.

4. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя). - Журнал "Социология: методология, методы, математические модели". 2005. No.20. С.32-53.

5. Орлов А.И. Отечественные достижения: теория устойчивости и нечисловая статистика. - Материалы IV конференции "Современные проблемы формирования методного арсенала социолога" (Москва, 16 февраля 2010 г.). - М.: Институт социологии РАН, 2010. CD диск ISBN 978-5-89697-181-8 http://www.ssa-rss.ru/index.php?page_id=259

6. Орлов А.И. Черная дыра отечественной социологии. - Выступление 09-01-2011 в "Дискуссии о социологии" на сайте Российского общества социологов http://www.ssa-rss.ru/index.php?page_id=19&id=456

7. Орлов А.И., Миронова Н.Г., Фомин В.Н., Черчинцев А.Н. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. - М.: ВНИИСтандартизации, 1987. - 62 с.

8. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, переработанное и дополненное. - М.: Изд-во "Экзамен", 2004. - 576 с.

9. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений: учебник. Гриф УМО. - М.: КноРус, 2011. - 568 с.

10. Толстова Ю.Н. Измерения в социологии. - М.: Инфра-М, 1998. - 352 с.

11. Орлов А.И. Устойчивость в социально-экономических моделях. -М.: Наука, 1979. - 296 с.

12. Колмогоров А.Н. Избранные труды. Математика и механика. М.: Наука, 1985. С. 136-138.

13. Горелик А.Л., Скрипкин В.А. Методы распознавания. - М.: Высшая школа, 1984. - 208 с.

14. Гельфанд И.М., Алексеевская М.А., Губерман Ш.А. и др.Прогнозирование исхода инфаркта миокарда с помощью программы "Кора-3". - Журнал "Кардиология". 1977. Т.17. No.6. С.19-23.

15. Орлов А.И. О сравнении алгоритмов классификации по результатам обработки реальных данных. - В сб.: Доклады Московского Общества испытателей природы 1985 г. Общая биология: Новые данные исследований структуры и функций биологических систем. - М.: Наука, 1987. С.79-82.

16. Орлов А.И. Организационно-экономическое моделирование: учебник: в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.