В задачах экономики предприятия и организации производства полезны такие эконометрические методы, как методы экспертных оценок. Современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы. Совершенно бесспорно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения. Для проведения работы по методу экспертных оценок создают Рабочую группу (РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию. Выделяют следующие стадии проведения экспертного опроса:

   1) формулировка лицом, принимающим решения, цели экспертного опроса;
   2) подбор ЛПР основного состава Рабочей группы;
   3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
   4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации;
   5) подбор экспертов в соответствии с их компетентностью;
   6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
   7) проведение сбора экспертной информации;
   8) анализ экспертной информации;
   9) при наличии нескольких туров - повторение двух предыдущих этапов;
   10) интерпретация полученных результатов и подготовка заключения для ЛПР;
   11) официальное окончание деятельности РГ.

   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

   В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Организация работы экспертной комиссии зависит от ответа на вопрос: что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения?

   Когда Рабочая группа должна собрать как можно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений, полезен метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений. Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.

   Математические методы в экспертных оценках применяются обычно для решения задач подготовки проекта решения. Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство.Чтобы избежать этого в настоящее время используются методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы. Одному из таких методов - методу согласования кластеризованных ранжировок и посвящен данный проект.

   В зависимости от вида средней величины существует несколько методов согласования кластеризованных ранжировок. Я остановился на двух из них: методе средних арифметических рангов и методе медиан. Существуют довольно противоречивые мнения по поводу этих методов и случаев их применения. Цель моей работы заключается в описании сущности этих методов, их сходств и различий и в ответе на вопрос: какой метод и в каких ситуациях лучше применять.

   Пусть имеется конечное число объектов, которые для простоты изложения будем изображать натуральными числами 1,2,3,...,k и называть носителем. Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. Кластер - группа равноценных объектов, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими, так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научных работ. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.

   Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака <. При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так:

А = [1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10] .

   Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.

   В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся технические исследования, экология, менеджмент, экономика, социология, прогнозирование и т.д., особенно те их разделы, что связаны с экспертными оценками. В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Получены кластеризованные ранжировки могут быть как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества.

   В работе рассматривается метод построения кластеризованной ранжировки, согласованной со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках

   Предположим, что нам надо выбрать напиток для запуска в массовое производство. У нас имеется несколько вариантов. Мы можем производить или молоко, или кефир, или фанту, или квас, или яблочный сок. Мы собираем группу экспертов и просим ее упорядочить напитки по предпочтениям, учитывая их особенности (легкость и быстрота изготовления, спрос на них на рынке и т. п.). Наиболее предпочтительный вариант оценивается одним баллом, наименее предпочтительный - пятью баллами, т. к. всего напитков - пять. Те напитки, вокруг которых возникли противоречия, объединяем в кластеры и считаем их эквивалентными. Допустим, мы получили следующий результат: {фанта, квас}> яблочный сок > {молоко, кефир}. На первом месте оказались фанта и квас, из которых нам все равно, что производить; дальше идет яблочный сок, и наименее предпочтительными оказались молоко и кефир, которые тоже равнозначны.

   Рассмотрим конкретный пример.

   Анализировались восемь проектов, выдвигаемых на призовые места по конкурсу "Шаг в будущее", обозначенные следующим образом: Д, Л, М, Б, Г, С, Ст, К (по фамилиям людей, их написавших). Все проекты были направлены 12 экспертам (преподавателям), назначенным руководством конкурса. В приведенной ниже табл.2 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов в соответствии с их представлением о том, какой проект лучше (ранг 1 - самый лучший проект, который обязательно должен получить призовое место, ранг 2 - второй по привлекательности проект,... , ранг 8 - наиболее сомнительный проект, который может претендовать на призовое место лишь в последнюю очередь).

   Примечание. Эксперт № 4 считает, что проекты М и Б равноценны, но уступают лишь одному проекту - проекту С. Поэтому проекты М и Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3. Поскольку они равноценны, то получают средний балл (2+3)/2 = 5/2 = 2,5.

   Анализируя результаты работы экспертов (табл.2), руководство конкурса было вынуждено констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в табл.2, следует подвергнуть более тщательному математическому анализу.

   Сначала был применен метод средних арифметических рангов. Для этого была подсчитана сумма рангов, присвоенных проектам (см. табл.3). Затем эта сумма была разделена на число экспертов, в результате найден средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка, исходя из принципа - чем меньше средний ранг, чем лучше проект. Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М, - и он получает итоговый ранг 2. Проекты Л и С имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл.3.

   Итак, ранжировка по суммам рангов (или, что то же, по средним арифметическим рангам) имеет вид:

Б < М < {Л, С} < Д < Ст < Г < К. (1)

   Здесь запись типа "А<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку модели Л и С получили одинаковую сумму баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), выделенную фигурными скобками. В терминологии математической статистики ранжировка имеет одну связь.

   Согласовать оценки экспертов можно и по методу медиан. Этот метод заключается в следующем: надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания. Получим: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.

   Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл.3. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда.) Итоговое упорядочение по методу медиан приведено в последней строке таблицы. Ранжировка по медианам имеет вид:

Б < {М, Л} < С < Д < Ст < К <Г. (2)

   Поскольку проекты Л и М имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики полученная ранжировка имеет одну связь.

   Сравнение ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты М, Л, С упорядочены как М < Л < С, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и С (ранжировка (1)), а в другом - проекты М и Л (ранжировка (2)). Существенным является только расхождение, касающееся упорядочения проектов К и Г: в ранжировке (1) Г < К, а в ранжировке (2), наоборот, К < Г. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования на указанное расхождение можно не обращать внимание.

   Рассмотренный пример демонстрирует сходство и различие ранжировок, полученных по методу средних арифметических рангов и по методу медиан. Возникает следующий вопрос, какой метод лучше и правильнее использовать. Ответить на этот вопрос помогает репрезентативная теория измерений.

   Репрезентативная теория измерений (в дальнейшем сокращенно РТИ) является одной из составных частей статистики объектов нечисловой природы. Нас РТИ интересует прежде всего в связи с развитием теории и практики экспертного оценивания, в частности, в связи с агрегированием мнений экспертов, построением обобщенных показателей и рейтингов.

   Мнения экспертов часто выражены в порядковой шкале, т.е. эксперт может сказать (и обосновать), что один показатель качества продукции более важен, чем другой, первый технологический объект более опасен, чем второй, и т.д., но не в состоянии сказать, во сколько раз или на сколько более важен, соответственно, более опасен. Экспертов часто просят дать ранжировку объектов экспертизы, т.е. расположить их в порядке возрастания (или убывания) интенсивности интересующей организаторов экспертизы характеристики. Ранг - это номер (объекта экспертизы) в упорядоченном ряду. Формально ранги выражаются числами 1, 2, 3, ..., но с этими числами нельзя делать привычные арифметические операции. Например, хотя 1 + 2 = 3, но нельзя утверждать, что для объекта, стоящем на третьем месте в упорядочении, интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2. Так, один из видов экспертного оценивания - оценки учащихся, и вряд ли кто-либо будет утверждать, что знания отличника равны сумме знаний двоечника и троечника (хотя 5 = 2 + 3), хорошист соответствует двум двоечникам (2+2 = 4), а между отличником и троечником такая же разница, как между хорошистом и двоечником (5 - 3 = 4 - 2). Поэтому очевидно, что для анализа подобного рода качественных данных необходима не арифметика, а другая теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Это и есть РТИ.

   Рассмотрим пример: пусть Y1, Y2,...,Yn - совокупность оценок экспертов, "выставленных" одному объекту экспертизы, Z1, Z2,...,Zn - второму. Как сравнивать эти совокупности? Самое простое - по средним значениям. А как вычислять средние? Известны различные виды средних величин: среднее арифметическое, медиана, среднее геометрическое, среднее гармоническое, среднее квадратическое. Обобщением нескольких из перечисленных является среднее по Колмогорову. Для чисел X1, X2,..., Xn среднее по Колмогорову вычисляется по формуле G{(F(X1)+F(X2)+...F(Xn))/n}, где F - строго монотонная функция, G - функция, обратная к F. Если F(х) = x, то среднее по Колмогорову - это среднее арифметическое, если F(x) = ln x, то среднее геометрическое, если F(x) = 1/x, то среднее гармоническое, и т.д. Медиану нельзя представить в виде средней по Колмогорову.

   Общее понятие среднего (введенное французским математиком первой половины Х1Х в. академиком О.Коши) таково: средней величиной является любая функция f(X1, X2,...Xn) такая, что при всех возможных значениях аргументов значение этой функции не меньше, чем минимальное из чисел X1, X2,...Xn , и не больше, чем максимальное из этих чисел. Среднее по Колмогорову - частный случай среднего по Коши. Медиана не является средним по Колмогорову, но тоже - среднее по Коши.

   При допустимом преобразовании шкалы значение средней величины, очевидно, меняется. Но выводы о том, для какой совокупности среднее больше, а для какой - меньше, не должны меняться (в соответствии с требованием инвариантности выводов, принятом в РТИ). Сформулируем соответствующую математическую задачу поиска вида средних величин, результат сравнения которых устойчив относительно допустимых преобразований шкалы. Пусть f(X1, X2,...,Xn) - среднее по Коши. Пусть

f(Y1, Y2,...,Yn) < f(Z1, Z2,...,Zn). (1)

   Тогда для устойчивости результата сравнения средних необходимо, чтобы для любого допустимого преобразования g из группы допустимых преобразований в соответствующей шкале было справедливо также неравенство

f(g(Y1), g(Y2),..., g(Yn)) < f (g(Z1), g(Z2),..., g(Zn)), (2)

   т.е. среднее преобразованных значений из первой совокупности также было меньше среднего преобразованных значений для второй совокупности. Причем сформулированное условие должно быть верно для любых двух совокупностей Y1, Y2,...,Yn и Z1, Z2,...,Zn. Согласно РТИ только такими средними можно пользоваться при анализе мнений экспертов..

   С помощью математической теории удается описать вид допустимых средних в основных шкалах: из всех средних по Коши в порядковой шкале в качестве средних можно использовать только члены вариационного ряда (порядковые статистики), в частности, медиану, но не среднее арифметическое, среднее геометрическое и т.д.

   Приведем численный пример, показывающий некорректность использования среднего арифметического f(X1, X2) = (X1+X2)/2 в порядковой шкале. Пусть Y1= 1, Y2 = 11, Z1 = 6, Z2 = 8. Тогда f(Y1, Y2) = 6, что меньше, чем f(Z1, Z2) = 7. Пусть строго возрастающее преобразование g таково, что g(1) = 1, g(6) = 6, g(8) = 8, g(11) = 99. Тогда f(g(Y1), g(Y2)) = 50, что больше, чем f(g(Z1), g(Z2)) = 7. Как видим, в результате преобразования шкалы упорядоченность средних изменилась.

   Итак, мы получили ответ на поставленный вопрос. Метод средних арифметических рангов является некорректным. Обоснованным является использование медиан в качестве средних баллов. Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Требуется найти некий компромисс. Он заключается в одновременном применении обоих методов. Реализация этого решения требует разработки методики согласования двух указанных кластеризованных ранжировок.

   Следующее важное понятие - противоречивость. Оно определяется для четверки - две кластеризованные ранжировки на одном и том же носителе и два различных объекта - элементы того же носителя. Рассмотрим сильную противоречивость. Два элемента из одного кластера будем связывать символом равенства =, как эквивалентные.

   Пусть А и В - две кластеризованные ранжировки. Пару объектов (a,b) назовем сильно противоречивой относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В либо a >b в А и a < b в В. Отметим, что в соответствии с этим определением пара объектов(a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть сильно противоречивой: эквивалентность a = b не образует "сильного противоречия" ни с a < b, ни с a > b. Совокупность строго противоречивых пар объектов для двух кластеризованных ранжировок А и В называется ядром сильных противоречий. Ядро сильных противоречий можно изобразить графом с вершинами в точках носителя. При этом сильно противоречивые пары задают ребра этого графа.

   Согласование применяют в тех случаях, когда возникают противоречия в полученных ранжировках. Различают понятия "сильного" и "слабого" противоречия. Они отличаются трактовкой эквивалентности a = b. В первом случае она считается совместимой с любым неравенством между объектами и потому исключает противоречие. Следовательно, "сильное противоречие" - это весьма серьезное противоречие, с которым нельзя справиться, нарушая эквивалентность a = b в ту или иную сторону. Во втором случае любое различие мнений относительно рассматриваемых объектов считается противоречием, и эквивалентность a = b в одной кластеризованной ранжировке не противоречит лишь такой же эквивалентности во второй.

   Построение согласующих кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках.. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться.

   Алгоритмы согласования некоторого числа кластеризованных ранжировок можно разделить на три этапа:

   Этап 1. Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. Поскольку выше рассмотрены два вида противоречий - сильное и слабое, то алгоритмов согласования также два - сильный и слабый.

   Этап 2. Выделяются кластеры итоговой кластеризованной ранжировки (классы эквивалентности - связные компоненты графов, соответствующих объединению попарных ядер противоречий).

   Этап 3. Эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок.. В случае слабого согласования никакие два объекта из разных кластеров не могут быть равны, поэтому описанная выше процедура не встречает препятствий. В случае сильного согласования это не так - два объекта из разных кластеров согласующей кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласующей кластеризованной ранжировке.

   Результат сильного согласования кластеризованных ранжировок А, В, С,... обозначим f (А, В, С,...). Тогда нетрудно получить на основе проведенных выше рассуждений о ядрах сильных и слабых противоречий:

f (А, В) = [ 1 < 2 < 3 < 4 < 5 < 6 < 7 < {8, 9} < 10 ] ,

f (А, С) = [ {1, 3} < {2, 4} < 5 < 6 <7 < 8 < 9 < 10 ] ,

f (В, С) = [ {1, 2, 3, 4 } < {5,6} < 7 < {8, 9} < 10 ] ,

f (А, В, С) = f (В, С) = [ {1, 2, 3, 4 } < {5,6} < 7 < {8, 9} < 10 ] ,

F(А, В) = [ {1, 2, 3, 4, 5, 6,7}, {8, 9, 10} ] ,

F(А, С) = [ {1, 2, 3, 4} , {5, 6,7, 8}, {9, 10} ] ,

F(В, С) = [ {1, 2, 3, 4, 5, 6,7, 8, 9, 10} ] ,

F(А, В, С) = F(В, С) = [ {1, 2, 3, 4, 5, 6,7, 8, 9, 10} ] .

   Полученные результаты показывают весь спектр согласующих кластеризованных ранжировок - от f (А, В), в которой только два элемента объединены в кластер, до F(В, С), в которой все элементы составляют один кластер. В случае f (А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае F(В, С) все объекты объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести декомпозицию задачи нахождения итогового мнения экспертов, т.е. разбить объекты на группы, каждую из которых можно анализировать отдельно.

   В ходе работы над проектом мною был проведен подробный анализ одного из математических методов поддержки управленческих решений - метода согласования кластеризованных ранжировок, который относится к методам экспертного оценивания. Их главной особенностью является наличие группы экспертов, занимающейся разработкой проекта решения. Я остановился на двух методах получения кластеризованных ранжировок: методе средних арифметических рангов и методе медиан. Моей целью было проанализировать эти методы и сделать выводы по их применению. На приведенном в работе примере я показал, что итоговые ранжировки, полученные с использованием этих двух методов, во многом схожи. Но я также показал, что применение метода средних арифметических рангов является некорректным, и более целесообразным является применение медиан. Здесь возникает следующая проблема: метод средних арифметических рангов стал ужу традиционным, и полностью отказаться от него не представляется возможным, по крайней мере, в ближайшее время. Поэтому я считаю, что нужен компромисс, а именно одновременное использование обоих методов с последующим согласованием двух полученных ранжировок. В проекте я привожу алгоритм такого согласования. С точки зрения математики он более сложен, чем сами методы, но он необходим для преодоления противоречий в итоговых ранжировках.

   С моей точки зрения метод согласования кластеризованных ранжировок является одним из самых перспективных методов экспертного оценивания, так как он позволяют получить наиболее точные экономические оценки. Этот метод является универсальным. Его можно применять в различных областях и ситуациях для принятия не только сугубо экономических, но и решений вообще. Если рассматривать математический аппарат, используемый в этом методе, то он достаточно прост, если сравнивать его с математическими аппаратами, применяемыми в других методах. Вычисление средних арифметических или медиан является несложной и быстрой процедурой. Если эту работу выполняет компьютер (чаще всего это так и есть), то процесс становится просто элементарным. ЛПР надо только внести полученные оценки в компьютер и получить результат.

   Методам экспертного оценивания сейчас начинают уделять все больше и больше внимания. Может быть, в недалеком будущем эти методы станут основным инструментом принятия управленческих решений. Надеюсь, что мой проект поможет привлечь внимание к ним.

   1. Орлов А.И. Эконометрика. - М,: Экзамен, 2002. - 576 с.