Ключевые слова: экспертные оценки, статистика нечисловых данных, системная нечеткая интервальная математика, экспертное прогнозирование, статистические технологии, анализ экспертных данных.

Экспертные оценки - один из эффективных инструментов разработки и принятия управленческих решений. Они широко используются в различных отраслях народного хозяйства. Однако специалистам, применяющим экспертные оценки, зачастую известны лишь отдельные методы и технологии из этой развитой научно-практической области. Поэтому целесообразно проанализировать многообразие работ по теории экспертных оценок, выполненных в нашей стране.

В настоящее время не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более - однозначных рекомендаций по их применению. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы неформального научного коллектива вокруг комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика", организованной в 70-х годах. Статья подготовлена в рамках методологии, созданной этим научным коллективом.

Экспертные оценки активно использовались с незапамятных времен. После Второй мировой войны в рамках мощного научного движения, на знаменах которого сверкали модные 50 лет назад термины "кибернетика", "исследование операций", "системный подход", выделилась самостоятельная научно-практическая дисциплина - экспертные оценки. Сложились методы сбора и анализа экспертных оценок, которые мы сейчас называем классическими. В 60-70-е гг. они освоены в нашей стране, доработаны и успешно применены. И только потом, в 70-е гг., начались активные самостоятельные научные исследования, была сформирована полностью оригинальная отечественная научная школа в области экспертных оценок. Нашей стране принадлежит мировой приоритет в целом ряде направлений, о некоторых из которых речь пойдет ниже.

Вполне естественно, что сначала в нашей стране появились публикации о классических методах экспертных оценок (см., например, [1-3]). Речь идет о простейших методах, не требующих развитого математического аппарата.

С одной стороны, такие публикации были полезны, позволив широким массам специалистов познакомиться с основными идеями экспертных оценок. До сих пор классические методы активно используются в практической работе и излагаются в учебной литературе.

С другой стороны, как обычно бывает во многих областях деятельности, первоначальные достаточно тривиальные соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров) и стали тормозом на пути внедрения более новых продвинутых результатов в области экспертных оценок, описанных, например, в работах [4-9].

Вспомним слова великого физика Макса Планка, создателя квантовой теории света: "Новая научная идея редко внедряется путем постепенного убеждения и обращения противников, редко бывает, что Савл становится Павлом. В действительности дело происходит так, что оппоненты постепенно вымирают, а растущее поколение с самого начала осваивается с новой идеей". Необычность рассматриваемой ситуации в области экспертных оценок состоит в том, что новые научные идеи появились всего через несколько лет после широкого распространения в нашей стране классических методов экспертных оценок. Но - головы возможных пользователей были уже оккупированы тривиальностями. В результате многие превосходные с научной точки зрения и высокоэффективные в приложениях результаты отечественных исследователей остаются малоизвестными, хотя получены еще в 70-е годы.

Центром исследований является всесоюзный (ныне всероссийский) научно-исследовательский семинар "Экспертные оценки и анализ данных". Этот семинар был организован по предложению академика А.Н. Колмогорова на механико-математическом факультете МГУ Ю.Н. Тюриным, Б.Г. Литваком и П.Ф. Андруковичем. Он работает с 1973 г., сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В разные годы им руководили д.ф.-м.н. Ю.Н. Тюрин, д-ра техн. наук Б.Г. Литвак, А.И. Орлов, А.А. Дорофеюк, Ф.Т. Алескеров, Д.А. Новиков, Ю.В. Сидельников. В работе семинара участвовали сотни исследователей.

Участники неформального научного коллектива участников семинара обычно начинали с освоения современных зарубежных идей, переходя затем к самостоятельным исследованиям, приводящим, как правило, к новым научным результатам мирового значения. Рассмотрим несколько сюжетов.

Так, освоив проблематику теории измерений, участники семинара перешли к изучению инвариантных алгоритмов. Основной полученный результат мирового уровня - характеризация средних величин шкалами измерения. Найдены необходимые и достаточные условия, выделяющие средние величины, результат сравнения которых инвариантен относительно допустимых преобразований в тех или иных шкалах. Цикл теорем о средних величинах - наиболее важное достижение в теории измерений, полученное в нашей стране.

В теории нечеткости также был получен принципиально важный результат мирового уровня - найден способ сведения теории нечетких множеств к теории случайных множеств. Это - основное отечественное достижение в теории нечеткости.

Большое влияние на развитие исследований в области экспертных оценок оказали работы американского математика Джона Кемени, прежде всего книга [10]. В ней был предложен подход к аксиоматическому введению расстояний между нечисловыми ответами экспертов (на примере упорядочений) и дан метод нахождения итогового мнения комиссии экспертов как решения оптимизационной задачи. Участники семинара по примеру Кемени построили аксиоматику для введения расстояний между различными объектами нечисловой природы. В обзоре [11] сведены вместе результаты более чем 150 исследований. В честь Дж. Кемени расстояния между элементами различных пространств бинарных отношений сейчас называют расстояниями Кемени, а введенные на их основе средние в этих пространствах - медианами Кемени.

Необходимо добавить, что и после 1985 г., когда была выпущена обзорная работа Г.В. Раушенбаха [11] по публикациям, базирующимся на подходе Кемени к аксиоматическому введению меры близости между нечисловыми ответами экспертов, появлялись новые результаты. Так, например, в работе Ю.В. Сидельникова [12] были введены пять аксиом и доказано, что эти аксиомы на множестве векторов предпочтения однозначно определяют меру близости. Аналогичный результат был получен и на множестве ранжирований. В работе [13] аксиоматически введена метрика подобия и изучена с помощью вероятностной модели.

Большое внимание уделялось различным вариантам парных и множественных сравнений. Если на Западе рассматривалась параметрическая теория (модели Льюса, Бредли-Терри, Терстоуна), то в нашей стране была построена не имеющая аналогов непараметрическая теория парных сравнений (люсианов), причем в асимптотике растущей размерности.

В 70-е гг. было выпущено три сборника статей [14 - 16], содержащих научные труды участников семинара "Экспертные оценки и анализ данных". Эти сборники до сих пор являются актуальными, включенные в них работы содержат заметно более продвинутые научные результаты, чем публикации по "классическим методам экспертных оценок", поскольку последние опираются на идеи 40-60-х гг. Прошедшие десятилетия позволили более четко выявить теоретический смысл и прикладные возможности разработанных тогда подходов.

Полученные результаты были обобщены в ряде монографий, написанных руководителями и участниками семинара [17-20], и прежде всего в неоднократно изданном программном докладе пяти наиболее активных и продуктивных исследователей [21-22]. К сожалению, этот принципиально важный доклад не был развернут в подробную монографию. "Доклад пяти" - веха в развитии отечественных исследований в области экспертных оценок. Закончился период становления самостоятельной научно-прикладной дисциплины. К концу 70-х гг. экспертные оценки получили и организационное оформление - в рамках комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика".

Научные исследования развивались вглубь и вширь. Регулярно выпускались сборники статей [23 - 26], проводились всесоюзные конференции [27 - 28]. Разумеется, работы по экспертным оценкам публиковались не только в изданиях семинара, но и во многих иных. Укажем для примера на работы руководителей семинара А.А. Дорофеюка [29] и Ю.В. Сидельникова [30], на монографии по многомерному шкалированию экспертных и иных данных [31, 32]. Авторы "доклада пяти" защитили докторские (Б.Г. Литвак, А.И. Орлов, Ю.Н. Тюрин) и кандидатские (Г.А. Сатаров, Д.С. Шмерлинг) диссертации.

Были выполнены многочисленные прикладные работы. В частности, разработаны комплексы нормативно-методических документов по экспертным методам управления качеством продукции (ГОСТы, методические указания и др.) и по экспертизе научно-исследовательских работ в медицине и биологии (методические рекомендации по проведению экспертной оценки планируемых и законченных научных работ в области медицины и по подготовке и проведению конкурса проектов исследований и разработок в области физико-химической биологии и биотехнологии).

Исследования по экспертным оценкам шли в тесном контакте с работами в области прикладной статистики и других статистических методов [33, 34], многокритериальной оптимизации [35, 36], математических методов в социологии [37] и т.п. В литературе экспертные оценки иногда выступают под теми или иными "псевдонимами". Например, академик РАН Н.Н. Моисеев в своих выдающихся научно-публицистических книгах [7, 38, 39] использовал термин "неформальные процедуры".

Основным отечественным достижением последней четверти ХХ в. в области статистических методов анализа данных является создание статистики нечисловых данных (в других терминах, нечисловой статистики, статистики объектов нечисловой природы). Ныне статистика нечисловых данных - одна из четырех основных областей прикладной статистики, наряду со статистикой числовых величин, многомерным статистическим анализом и статистикой временных рядов [33, 34].

Для нас важно, что именно необходимость разработки адекватных методов анализа экспертных мнений стимулировала развитие статистики нечисловых данных. Не случайно основополагающая статья [40], излагающая программу построения новой области статистики, опубликована в одном из первых сборников трудов семинара.

Кратко обсудим суть статистики нечисловых данных. Сначала напомним, что исходный объект в прикладной статистике - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов. Какова природа этих элементов? В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры.

Примеры объектов нечисловой природы:

- значения качественных признаков, т.е. результаты кодировки объектов экспертизы с помощью заданного перечня категорий (градаций);

- упорядочения (ранжировки) экспертами образцов продукции (при оценке её технического уровня и конкурентоспособности)) или заявок на проведение научных работ (при проведении конкурсов на выделение грантов);

- классификации, т.е. разбиения объектов экспертизы на группы сходных между собой (кластеры);

- толерантности, т.е. бинарные отношения, описывающие сходство объектов между собой, например, сходства тематики научных работ, оцениваемого экспертами с целью рационального формирования экспертных советов внутри определенной области науки;

- результаты парных сравнений или контроля качества продукции по альтернативному признаку ("годен" - "брак"), т.е. последовательности из 0 и 1;

- множества (обычные или нечеткие), например, зоны, пораженные коррозией, или перечни возможных причин аварии, составленные экспертами независимо друг от друга;

- слова, предложения, составленные из них тексты;

- векторы, координаты которых - совокупность значений разнотипных признаков, например, результат составления статистического отчета о научно-технической деятельности организации (т.н. форма No. 1-наука) или анкета эксперта, в которой ответы на часть вопросов носят качественный характер, а на часть - количественный;

- ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.

Интервальные данные тоже можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств [18, 19].

С 70-х гг. в основном на основе запросов теории экспертных оценок (а также технических исследований, экономики, социологии и медицины) развивались конкретные направления статистики объектов нечисловой природы. Были установлены основные связи между конкретными видами таких объектов, разработаны для них базовые вероятностные модели. Итоги подведены в монографии [18], в предисловии к которой впервые появился термин "статистика объектов нечисловой природы".

Следующий этап (80-е гг.) - выделение статистики нечисловых данных в качестве самостоятельной дисциплины, ядром которой являются методы статистического анализа данных произвольной природы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики. Основные результаты коллективного труда подведены в сборнике научных работ [41]. Он подготовлен совместно подкомиссией "Статистика объектов нечисловой природы" комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и Институтом социологических исследований АН СССР.

К 90-м гг. статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Однако она оставалась недостаточно апробированной на практике. И в 90-е гг. наступило время перейти от математико-статистических исследований к применению полученных результатов на практике. К этому периоду относится публикация большой серии статей в рамках раздела "Математические методы исследования" журнала "Заводская лаборатория" (основного места публикации в СССР и РФ работ по прикладной статистике), посвященных теории и практике нечисловой статистики.

В статистике объектов нечисловой природы одна и та же математическая схема может с успехом применяться во многих областях, а потому ее лучше всего формулировать и изучать в наиболее общем виде, для объектов произвольной природы.

В чем принципиальная новизна нечисловой статистики? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний (точнее, мер различия, близости, метрик и псевдометрик) в пространствах объектов нечисловой природы. (Псевдометрика отличается от метрики тем, что в системе из четырех аксиом метрики отбрасывается условие: если d(x, y) = 0, то x = y.)

Кратко рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.

Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.

Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в статистике интервальных данных.

В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин. Известна роль непараметрических оценок плотности при построении бинарных рейтингов.

Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.

Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).

Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.

Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы, в частности, со статистикой нечетких множеств и со статистикой случайных множеств (напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств), с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок. Применительно к экспертным оценкам важная роль конкретных методов статистики нечисловых данных продемонстрирована в большом числе литературных источников.

7. Современный этап развития экспертных оценок

С конца 80-х гг. число научных работников в нашей стране уменьшилось в разы. На порядок сократилось количество участников научных семинаров и конференций. Однако отечественная научная школа в области экспертных оценок успела достичь стадии зрелости и устояла. Этому способствовала и востребованность экспертных технологий во многих областях человеческой деятельности. Слово "эксперт" стало модным.

Зрелость научной области проявилась в том, что ведущие отечественные специалисты выпустили заметно большее число монографий, подводящих итоги исследования, чем в предыдущие десятилетия [42 - 51, 55, 56, 59]. Часто экспертные оценки рассматривались вместе с проблемами принятия решений [43-46]. Большое внимание уделялось проблеме выбора [47], в том числе в условиях многокритериальности [48]. Были проанализированы процедуры голосования в рамках комиссий экспертов [49].

Разделы, посвященные экспертным оценкам, включают в учебники по различным дисциплинам, в частности, по теории принятия решений [44 - 46], по эконометрике и прикладной статистике [33, 34]. Это свидетельствует о том, что теория и практика экспертных оценок вошла в "базовое ядро" знаний, которыми должны владеть инженеры, менеджеры, экономисты, специалисты в иных областях.

Поток новых идей, подходов, концепций, методологий, методов, конкретных постановок, моделей, теорем и алгоритмов в области экспертных оценок не только не иссякает, но год от году усиливается. Назовем некоторые из новшеств.

Теория организационных систем [50], прежде всего, теория активных систем [51], т.е. систем, элементы которых обладают собственными интересами и волей, позволяющей действовать независимо, нуждаются в развитии и применении современных методов экспертных оценок. Подходы теории активных систем особенно интересны для решения задач управления предприятиями и другими социально-экономическими структурами. Такой современный раздел менеджмента, как контроллинг [52, 53], немыслим без использования продвинутых методов экспертных оценок [54], реализованных на основе современных информационных технологий.

Принципиально важным является появление работ по экспертным технологиям [55, 56]. От разработки и изучения отдельных методов экспертных оценок осуществлен переход к разработке процедур, включающих все этапы технологического процесса сбора и анализа экспертной информации. Произошел качественный скачок - от отдельных инструментов интеллектуальной деятельности к целостным технологиям интеллектуальной деятельности. Аналогичный скачок осуществлен и в области статистических методов - появились высокие статистические технологии [33, 34, 57].

Из западных разработок наибольший интерес вызвал метод анализа иерархий Т. Саати [58]. К сожалению, он является некорректным [59, 60]. К аргументам этих статей надо добавить, что метод Саати некорректен с точки зрения теории измерений, поскольку построен на неправомерной оцифровке (переходе к количественной шкале) данных, измеренных в порядковой шкале. От его недостатков удалось избавиться сотрудникам Института проблем управления им. В.А.Трапезникова. Они разработали метод векторной стратификации [61], согласно которому иерархическая структура показателей комплексного критерия формируется путем дихотомической конкретизации документированной формулировки цели.

Из недавно разработанных принципиально новых подходов укажем в качестве примера на метод согласования кластеризованных ранжировок [62]. "Турнирный" метод ранжирования вариантов впервые опубликован в 2005 г. [63], а в соседней статье дано его теоретическое обоснование [64]. Применению экспертных оценок для задач стратегического планирования посвящена работа [65]. Список легко продолжить. Мы ограничились здесь лишь наиболее заметными публикациями, в основном книжными.

Состояние и перспективы экспертных оценок неоднократно анализировались ведущими специалистами [66 - 69]. Отмечалось, что перед исследователями - большое поле деятельности. Например, в [66] отмечалась актуальность разработки методов анализа интервальных экспертных оценок, в которых мнения экспертов выражены интервалами. Основой для разработки таких методов может послужить статистика интервальных данных, рассмотренная в [34, 46]. Однако теория интервальных экспертных оценок стоит лишь в начале своего пути, хотя ее перспективность очевидна.

Экспертным оценкам уделено большое внимание в основополагающей монографии по статистике нечисловых данных [70], в которой также приведен обширный список литературных источников по развитию экспертных оценок в нашей стране. Книги и статьи по рассматриваемой тематике имеются в открытом доступе на сайте "Высокие статистические технологии" [71], его форуме [72] и на сайте Лаборатории экономико-математических методов в контроллинге [73].

8. О многообразии экспертных технологий

Итак, экспертные технологии - обширная совокупность интеллектуальных инструментов для решения научно-технических и социально-экономических задач, а также задач в других областях человеческой деятельности.

В чем основная причина все более широкого применения экспертных технологий? Для применения математических методов исследования, независимо от области их использования, нужны исходные данные. Есть два общих пути получения данных - объективные результаты измерений, наблюдений, испытаний, анализов, опытов и субъективные мнения высококвалифицированных специалистов (экспертов). Необходимость и целесообразность разработки и применения методов сбора и анализа экспертных оценок доказана практикой. Например, проведенное в начале 1960-х годов экспертное исследование позволило предсказать момент высадки человека на Луну с точностью до месяца [74].

Один из центров публикации научных работ по экспертным технологиям - раздел "Математические методы исследования" нашего журнала "Заводская лаборатория" (в настоящее время - "Заводская лаборатория. Диагностика материалов"). В этом разделе опубликовано достаточно много статей, посвященных разработке новых методов экспертных оценок и обсуждению вопросов их практического применения [75]. В частности, развитие экспертных технологий в нашей стране с научной точки зрения проанализировано в обзоре [76], а с прикладной - в работе [67] одного из ведущих отечественных исследователей в этой области Б.Г. Литвака (1940-2012).

По нашей экспертной оценке, отечественная научная школа в области теории и практики экспертных оценок создана неформальным исследовательским коллективом вокруг постоянно действующего научный семинар "Экспертные оценки и анализ данных", о котором уже упоминалось в начале настоящей статьи. Программная статья [21] наиболее активных руководителей и участников этого семинара Ю.Н. Тюрина, Б.Г. Литвака, А.И. Орлова, Г.А. Сатарова, Д.С. Шмерлинга во многом определила развитие теории и практики экспертных оценок в нашей стране на десятилетия вперед, вплоть до настоящего момента. К сожалению, выпущенный на основе этой статьи препринт [22] не был развернут в подробную монографию.

Экспертные технологии - не только проверенные временем инструменты решения конкретных прикладных задач. Это - быстро развивающаяся научная область. В частности, потребности теории и практики экспертных оценок стимулировали разработку новой парадигмы прикладной статистики [77]. Развитие современных технологий экспертных оценок шло в тесном взаимодействии с созданием центральной области современных статистических методов - статистики объектов нечисловой природы [78] (краткое название этой области прикладной математической статистики - нечисловая статистика [70]). Можно констатировать, что нечисловая статистика является теоретическим "зеркалом" современных экспертных технологий. Развитие информационно-коммуникационных технологий позволило разработать и внедрить новую область экспертных оценок - сетевую экспертизу [79]. Отметим, что модификация известного в теории экспертиз метода фокальных объектов дает новые возможности в научно-техническом творчестве [80].

Необходимость разработки новых математических методов исследования вызвана, в частности, тем, что эксперты дают оценки в различных шкалах измерения, прежде всего в порядковых шкалах, а также в вербальной форме. Поэтому значительная часть публикаций раздела "Математические методы исследования" журнала "Заводская лаборатория" посвящена методам анализа нечисловых экспертных данных. Эти методы должны быть инвариантны относительно допустимых преобразований шкал измерения. Конкретная шкала выделяется группой допустимых преобразований. Например, для порядковой шкалы таковой является совокупность всех допустимых преобразований шкалы. Порядковую шкалу иногда называют ранговой, поскольку инвариантные методы в этой шкале часто являются функциями от рангов результатов измерений. В обзоре [81] приведена сводка научных публикаций, относящихся к средним величинам, инвариантным относительно допустимых преобразований шкал измерения. Рядом помещена статья [82], в которой выделены основные результаты в рассматриваемой области. Ранее репрезентативная теория измерений была проанализирована с различных сторон в опубликованных рядом статьях [83, 84]. Уточнению (с помощью измеряемых данных) экспертных оценок, выставленных в ранговых шкалах, посвящена статья [85]. Предпочтительность использования медианы экспертных оценок (вместо среднего арифметического) обсуждается в работе [86].

Продолжается интенсивная разработка новых математических моделей получения, анализа и применения экспертных оценок. Так, в работе [87] проанализированы методы визуального представления тесноты связей. Квантификации (или, как говорят, оцифровке) предпочтений, выраженных в вербальной форме, посвящена статья [88]. Опыт практической работы по анализу дефектности отливок методом экспертных оценок разобран в публикации [89].

Экспертные оценки - важнейшая составная часть методов принятия решений, в частности, управления рисками и прогнозирования (см., например. обзор [90] по математическим методам оценки рисков). К теории принятия решений примыкают, в частности, работа [92] по определению весовых коэффициентов на основании экспертных оценок, исследование [93] по обоснованию вида рациональной экспертной оценки знаний учащихся, статья [94], посвященная математическим моделям квалиметрического анализа многофакторных объектов с бинарными факторами.

Вполне естественно, что именно авторами раздела "Математические методы исследования" журнала "Заводская лаборатория. Диагностика материалов" опубликованы основные отечественные монографии и учебники по теории и практике экспертных оценок [55, 65, 74, 79].

Современные методы экспертных оценок предоставляют собой эффективные интеллектуальные инструменты для решения прикладных задач во многих предметных областях, кроме того, сами являются источником дальнейших научных исследований. Экспертное оценивание является, зачастую, незаменимым инструментом, позволяющим разрабатывать обоснованные управленческие решения при отсутствии достаточного объема результатов наблюдений [74, 76, 95].

Экспертные технологии активно применяются, например, в Группе компаний "Волга-Днепр", осуществляющей нестандартные грузоперевозки на самых мощных в мире самолетах АН-124 "Руслан" и являющейся мировым монополистом в этой области. В ходе разработки автоматизированной системы прогнозирования и предотвращения авиационных происшествий (АСППАП) при организации и производстве воздушных перевозок экспертные опросы летного состава (всего около 20000 экспертных оценок) позволили получить исходные данные для деревьев событий и других математических моделей, предназначенных для оценки эффективности управленческих решений при создании систем обеспечения безопасности сложных технических систем [91, 96]. При разработке АСППАП возникла необходимость применения экспертных технологий для оценивания вероятностей редких событий [97]. В частности, их необходимо использовать при моделировании на основе деревьев событий (многообразие моделей на основе деревьев событий рассмотрено в статье [91]). Экспертами оценивались передаточные параметры для дерева событий при развитии авиационного события (происшествия) на основе логико-вероятностной модели [98] (представляющие из себя в первом приближении условные вероятности) в условиях почти полного отсутствия статистических данных. Отсутствие данных связано с несколькими причинами. Во-первых, для сбора части данных требовались большие человеческие и временные затраты, и к моменту проведения экспертного опроса они не были готовы. Во-вторых, часть данных для оценки условных вероятностей невозможно получить в принципе, поскольку промежуточные события из дерева событий [98], не приведшие к авиационному событию, часто никак и нигде не анализируются, не записываются и не сохраняются. Здесь можно привести простую аналогию: затруднительно статистически оценить, с какой вероятностью превышение скорости приведет к автомобильной аварии, поскольку большинство превышений скорости не приводят к авариям и остаются вне поля зрения исследователей.

Необходимо сопоставление двух подходов к получению важных для управления безопасностью полетов и предотвращения авиационных происшествий выводов (например, оценок вероятностей авиационных событий / происшествий) - на основе экспертных технологий и на основе анализа статистических данных. Дело в том, что рассматриваемые события зачастую встречаются в единичных случаях (менее 10 случаев за все время наблюдения), например, с частотой порядка 10^-5, поэтому доверительные границы для вероятностей весьма широки. Как следствие, нельзя априори утверждать, что анализ статистических данных дает более точные результаты, чем экспертные технологии. Предложенная нами экспертная технология оценки вероятностей редких событий позволила успешно решить задачи, стоявшие перед разработчиками системы АСППАП [97]. В терминах статьи [57] эту экспертную технологию следует отнести к высоким статистическим технологиям, которые можно применять для статистического анализа как результатов измерений (наблюдений, испытаний, анализов, опытов), так и ответов экспертов.

В теории экспертных оценок применяются различные математические методы, прежде всего методы системной нечеткой интервальной математики [99, 100]. При сборе и обработке мнений экспертов большое значение имеют метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов [101]. Потребности развития теории и практики экспертных оценок дали стимул к разработке статистики объектов нечисловой природы [102], а затем полученные в новой области математической статистики результаты позволили продвинуться в теории экспертных оценок, поднимающей научный уровень выполнения прикладных работ, как это подробно показано выше. Можно констатировать, что именно потребности развития теории и практики экспертных оценок привели к появлению новой парадигмы математической статистики [103].

1. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. Изд. 2, перераб. и доп. - М.: Статистика, 1980. - 264 с.

3. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.

4. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. - 354 с.

5. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64 с.

6. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 143 с.

7. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. - М.: Знание, 1979. - 64 с.

8. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

9. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.: Наука, 1984. - 120 с.

10. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

11. Раушенбах Г.В. Меры близости и сходства в социологии / Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1986. С.169-203.

12. Сидельников Ю.В. Аксиоматическое введение меры близости типа Спирмена на векторах предпочтения / Тезисы докладов третьего международного симпозиума стран-членов СЭВ по проблемам прогнозирования научно-технического прогресса (СССР, Ереван, 20-25 октября 1986 г.). Секция 1. - М.: Комитет по научно-техническому сотрудничеству СЭВ, 1986. - С. 58-59.

13. Орлов А.И., Раушенбах Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность / Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1986. - С.148-157.

14. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

15. Экспертные оценки / Вопросы кибернетики. - Вып.58. - М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979. - 200 с.

16. Экспертные оценки в системных исследованиях / Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979. - 120 с.

17. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. - 184 с.

18. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

19. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

20. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. - М.: ВНИИММТИ Минздрава СССР, 1983. - 80 с.

21. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации (обзор) / Заводская лаборатория. 1980. Т.46. No.10. С.931-935. - Переиздание - в сб.: Современные проблемы кибернетики: прикладная статистика. - М.: Знание, 1981, с.41-52.

22. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.

23. Экспертные оценки в задачах управления / Сборник трудов. - М.: Институт проблем управления, 1982. - 106 с.

24. Анализ нечисловых данных в системных исследованиях / Сборник трудов. - Вып.10. - М.: ВНИИСИ, 1982. - 155 с.

25. Методы анализа данных, оценивания и выбора / Сборник трудов. - Вып.11. - М.: ВНИИСИ, 1984. - 92 с.

26. Методы анализа данных, оценивания и выбора в системных исследованиях / Сборник трудов. - Вып.14. - М.: ВНИИСИ, 1986. - 124 с.

27. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации/Тезисы докладов. - М.- Алма-Ата, ВИНИТИ, 1981. - 439 с.

28. Вторая Всесоюзная конференция по анализу нечисловой информации/ Тезисы докладов. - М.- Таллин: ВИНИТИ, 1984. - 348 с.

29. Дорофеюк А.А. Методы автоматической классификации в задачах получения экспертной информации / Статистика. Вероятность. Экономика. - М.: Наука, 1985. - С. 137 - 145.

30. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.

31. Терехина А.Ю. Анализ данных методами многомерного шкалирования. - М.: Наука, 1986. -168 с.

32. Перекрест В.Т. Нелинейный типологический анализ социально-экономической информации: Математические и вычислительные методы. - Л.: Наука, 1983. - 176 с.

33. Орлов А.И. Эконометрика. Изд. 3-е, испр. и доп. - М.: Экзамен, 2004. -576 с.

34. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.

35. Гафт М.Г. Принятие решений при многих критериях. - М.: Знание, 1979. - 64 с.

36. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. - 256 с.

37. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя) / Социология: методология, методы, математические модели. 2005. No.20. С.32-53.

38. Моисеев Н.Н. Математик задает вопросы... (Приглашение к диалогу). - М.: Знание, 1975. - 192 с.

39. Моисеев Н.Н. Математика ставит эксперимент. - М.: Наука, 1979. - 224 с.

40. Орлов А.И. Статистика объектов нечисловой природы и экспертные оценки. / Экспертные оценки / Вопросы кибернетики. Вып.58. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1979. С.17-33.

41. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 221 с.

42. Ларичев О.И. Выявление экспертных знаний. - М.: Наука, 1989. - 128 с.

43. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. Вербальный анализ решений. - М.: Наука, 1996.- 208 с.

44. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 272 с.

45. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.-Ростов н/Д: МарТ; 2005. - 496 с.

46. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.

47. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов (основы теории). - М.: Наука, 1990.- 326 с.

48. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - М.: Физматлит, 2002. - 176 с.

49. Вольский В.И., Лезина З.М. Голосование в малых группах. Процедуры и методы сравнительного анализа. - М.: Наука, 1991. - 192 с.

50. Новиков Д.А. Теория управления организационными системами. - М.: МПСИ, 2005. - 584 с.

51. Бурков В.Н. Теория активных систем: состояние и перспективы. - М.: Синтег, 1999. - 128 с.

52. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.

53. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем. - М.: Финансы и статистика, 1997. - 800 с.

54. Орлов А.И. Эконометрическая поддержка контроллинга / Контроллинг. 2002. No.1. С.42-53.

55. Литвак Б.Г. Экспертные технологии управления. 2-е изд. - М.: Дело, 2004.- 398 с.

56. Сидельников Ю.В. Технология экспертного прогнозирования: Учебное пособие. Изд. 2-е, исправл. - М.: Доброе слово, 2004. - 284 с.

57. Орлов А.И. Высокие статистические технологии / Заводская лаборатория. Диагностика материалов. 2003. Т.69. No.11. С.55-60.

58. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 320 с.

59. Подиновский В.В., Подиновская О.В. О некорректности метода анализа иерархий // Проблемы управления. 2011. No. 1. С.8-13.

60. Подиновский В.В., Подиновская О.В. Еще раз о некорректности метода анализа иерархий // Проблемы управления. 2012. No. 4. С.75-78.

61. Анохин А.М., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. - М.: ИПУ РАН, 2003. - 79 с.

62. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок / Автоматика и телемеханика. 2000. No.3. С.179-187.

63. Файн В. Б., Дель М. В. "Турнирный" метод ранжирования вариантов / Заводская лаборатория. Диагностика материалов. 2005. Т.71. No.7. С.58-60.

64. Орлов А. И. Теоретическое обоснование "турнирного" метода ранжирования вариантов / Заводская лаборатория. Диагностика материалов. 2005. Т.71. No.7. С.60-61.

65. Применение экспертных оценок для задач стратегического планирования / Д.С. Шмерлинг, Т.Ю. Кузнецова, П.Ю. Чеботарев, Э.П. Чуркин. - М.: МШЭ МГУ ЦСП, 2008. - 36 с.

66. Орлов А.И. Экспертные оценки / Заводская лаборатория. 1996. Т.62. No.1. С.54-60.

67. Литвак Б.Г. Экспертиза в России / Заводская лаборатория. 2000. Т.66. No. 7. С. 61-66.

68. Дорофеюк А.А., Покровская И.В., Чернявский А.Л. Экспертные методы анализа и совершенствования систем управления / Автоматика и телемеханика. 2004. No. 10. С.172-188.

69. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. - М.: Изд-во МАИ-ПРИНТ, 2007. - 347 с.

70. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.

71. Сайт "Высокие статистические технологии" http://orlovs.pp.ru/ .

72. Форум сайта "Высокие статистические технологии" http://forum.orlovs.pp.ru/

73. Сайт Лаборатории экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана http://ibm.bmstu.ru/nil/biblio.html

74. Орлов А. И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.

75. Новиков Д. А., Орлов А. И. Экспертные оценки - инструменты аналитика / Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.4. С.3-4.

76. Орлов А.И. О развитии экспертных технологий в нашей стране / Заводская лаборатория. Диагностика материалов. 2010. Т.76. No.11. С.64-70.

77. Орлов А. И. Новая парадигма прикладной статистики / Заводская лаборатория. Диагностика материалов. 2012. Том 78. No.1, часть I. С.87-93.

78. Орлов А. И. Тридцать лет статистики объектов нечисловой природы (обзор) / Заводская лаборатория. Диагностика материалов. 2009. Т.75. No.5. С.55-64.

79. Сетевая экспертиза / Под ред. Д.А. Новикова, А.Н. Райкова. - М.: Эгвес, 2010. - 168 с.

80. Сидельников Ю. В. Модификация метода фокальных объектов: новые возможности в творчестве / Заводская лаборатория. Диагностика материалов. 2012. Том 78. No.1, часть I. С.93-101.

81. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения / Заводская лаборатория. Диагностика материалов. 2006. Том 72. No.1. С.59-67.

82. Орлов А. И. Математические методы исследования и теория измерений / Заводская лаборатория. Диагностика материалов. 2006. Том 72. No.1. С.67-70.

83. Толстова Ю. Н. Краткая история развития репрезентативной теории измерений / Заводская лаборатория. 1999. Т.65. No.3. С.49-56.

84. Орлов А. И. Репрезентативная теория измерений и ее применения / Заводская лаборатория. 1999. Т.65. No.3. С. 57-62.

85. Стрижов В. В. Уточнение экспертных оценок, выставленных в ранговых шкалах, с помощью измеряемых данных / Заводская лаборатория. Диагностика материалов. 2011. Том 77. No.7. С.72-78.

86. Цейтлин Н. А. Среднемедианный показатель положения выборки экспертных оценок / Заводская лаборатория. Диагностика материалов. 2010. Том 76. No.7. С.69-72.

87. Лагутин М. Б. Визуальное представление тесноты связей / Заводская лаборатория. Диагностика материалов. 2005. Т.71. No.7. С.53-58.

88. Шахнов И. Ф. Квантификация предпочтений, выраженных в вербальной форме / Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.1. С.77-79.

89. Крушенко Г. Г., Кокшаров И. И., Торшилова С. И., Крушенко С. Г. Анализ дефектности отливок методом экспертных оценок / Заводская лаборатория. Диагностика материалов. 2000. Т.66. No.5. С.64-66.

90. Пугач О. В. Математические методы оценки рисков / Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.7. С.64-69.

91. Хрусталев С. А., Орлов А. И., Шаров В. Д. Математические методы оценки эффективности управленческих решений / Заводская лаборатория. Диагностика материалов. 2013. Т.79. No.11. С.67-72.

92. Зотьев Д. Б. К проблеме определения весовых коэффициентов на основании экспертных оценок / Заводская лаборатория. Диагностика материалов. 2011. Т.77. No.1. С.75-78.

93. Цейтлин Н. А. Рациональная экспертная оценка знаний учащихся / Заводская лаборатория. Диагностика материалов. 2010. Т.76. No.11. С.70-72.

94. Шахнов И. Ф. Некоторые модели квалиметрического анализа многофакторных объектов с бинарными факторами / Заводская лаборатория. Диагностика материалов. 2010. Т.71. No.5. С.59-65.

95. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений. - М. : КноРус, 2011. - 568 с.

96. Бутов А. А., Волков М. А., Макаров В. П., Орлов А. И., Шаров В. Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. 2012. Том 14. No. 4(2). С.380-385.

97. Орлов А. И., Савинов Ю. Г., Богданов А. Ю. Опыт экспертного оценивания условных вероятностей редких событий при разработке автоматизированной системы прогнозирования и предотвращения авиационных происшествий // Известия Самарского научного центра Российской академии наук. 2012. Том 14. No. 4(2). С.501-506.

98. Шаров В. Д., Макаров В. П. Методология применения комбинированного метода FMEA-FTA для анализа риска авиационного события // Научный вестник Московского государственного технического университета гражданской авиации. - 2011. -No.174(12). - С. 18-24.

99. Орлов А.И. Системная нечеткая интервальная математика (СНИМ) - перспективное направление теоретической и вычислительной математики / А.И. Орлов, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - No.07(091). С. 255 - 30 - IDA [article ID]: 0911307015. - Режим доступа: http://ej.kubagro.ru/2013/07/pdf/15.pdf.

100. Орлов А.И., Луценко Е.В. О развитии системной нечеткой интервальной математики // Философия математики: актуальные проблемы. Математика и реальность. Тезисы Третьей всероссийской научной конференции; 27-28 сентября 2013 г. / Редкол.: Бажанов В.А. и др. - Москва, Центр стратегической конъюнктуры, 2013. - С.190 - 193.

101. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе "Эйдос" / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - No.08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.

102. Орлов А.И.  О развитии статистики объектов нечисловой природы  / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - No.09(093).  - IDA [article ID]: 0931309019. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/19.pdf, 2,250 у.п.л.

103. Орлов А.И.  Основные черты новой парадигмы математической статистики / // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - No.06(090). С.188-214. - IDA [article ID]: 0901306013. - Режим доступа: http://ej.kubagro.ru/2013/06/pdf/13.pdf, 1,688 у.п.л.

Публикация:

849. Орлов А.И. Теория экспертных оценок в нашей стране / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - No.09(093). С. 1652 - 1683. - IDA [article ID]: 0931309114. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/114.pdf, 2 у.п.л., импакт-фактор РИНЦ=0,266