В главе обсуждаются основные вопросы теории и практики экспертных оценок, в том числе связанные с типовыми стадиями экспертного опроса, методами подбора экспертов, разработкой регламентов проведения сбора и анализа экспертных мнений. Рассмотрены основные идеи современной теории измерений, метода согласования кластеризованных ранжировок и ряда других математических методов анализа экспертных оценок.

   Какова будет реакция потребителей на рекламную компанию? Как изменится социальная, технологическая, экологическая, экономическая, политическая ситуация через десять лет? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг будет простираться рукотворная пустыня? Достаточно вдуматься в эту постановку вопроса, проанализировать, как десять лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и более лет.

    Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках кибернетики, теории управления, менеджмента и исследования операций стала развиваться самостоятельная дисциплина - теория и практика экспертных оценок.

   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования я проводят с целью подготовки информации для принятия решений лицом, принимающим решения (ЛПР). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).

   Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. Аналогичная ситуация - в армии. Обычно командующий принимает решение единолично. Но в сложных и ответственных ситуациях проводят военный совет. Один из наиболее известных примеров такого рода - военный совет 1812 г. в Филях, на котором под председательством М.И. Кутузова решался вопрос: "Давать или не давать французам сражение под Москвой?"

   Другой простейший пример экспертных оценок - оценка номеров в КВН. Каждый из членов жюри поднимают фанерку со своей оценкой, а технический работник вычисляет среднюю арифметическую оценку, которая и объявляется как коллективное мнение жюри (ниже мы увидим, что такой подход некорректен с точки зрения теории измерений).

   В фигурном катании процедура усложняется - перед усреднением отбрасываются самая большая и самая маленькая оценки. Это делается для того, чтобы не было соблазна завысить оценку одной спортсменке (например, соотечественнице) или занизить другой. Такие резко выделяющиеся из общего ряда оценки будут сразу отброшены.

   Экспертные оценки часто используются при выборе - одного варианта технических устройств из нескольких, группы космонавтов из многих претендентов, набора проектов научно-исследовательских работ для финансирования из массы заявок, получателей экологических кредитов из многих желающих, выбор инвестиционных проектов для реализации среди представленных, и т.д.

   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - ниже). Не меньше существует и методов обработки ответов экспертов, в том числе весьма насыщенных математикой и компьютеризированных

   Один из наиболее известных методов экспертных оценок - это метод "Дельфи". Название дано по ассоциации с Дельфийским храмом, куда согласно древнему обычаю было принято обращаться для получения поддержки при принятии решений. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма, надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отмечали на вопросы пришедших со своими проблемами паломников.

   В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось. Однако сама методика оказалась популярной - за последующие годы она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

   Несколько в стороне от основного русла экспертных оценок лежит метод сценариев, применяемый прежде всего для экспертного прогнозирования. Рассмотрим основные идеи технологии сценарных экспертных прогнозов. Экологическое или социально-экономическое прогнозирование, как и любое прогнозирование вообще, может быть успешным лишь при некоторой стабильности условий. Однако решения органов власти, отдельных лиц, иные события меняют условия, и события развиваются по-иному, чем ранее предполагалось. При разработке методологического, программного и информационного обеспечения анализа риска химико-технологических проектов необходимо составить детальный каталог сценариев аварий, связанных с утечками токсических химических веществ. Каждый из таких сценариев описывает аварию своего типа, со своим индивидуальным происхождением, развитием, последствиями, возможностями предупреждения. Таким образом, метод сценариев - это метод декомпозиции задачи прогнозирования, предусматривающий выделение набора отдельных вариантов развития событий (сценариев), в совокупности охватывающих все возможные варианты развития. При этом каждый отдельный сценарий должен допускать возможность достаточно точного прогнозирования, а общее число сценариев должно быть обозримо.

   Возможность подобной декомпозиции не очевидна. При применении метода сценариев необходимо осуществить два этапа исследования:

   - построение исчерпывающего, но обозримого набора сценариев;

   - прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы.

   Каждый из этих этапов лишь частично формализуем. Существенная часть рассуждений проводится на качественном уровне, как это принято в общественно-экономических и гуманитарных науках. Одна из причин заключается в том, что стремление к излишней формализации и математизации приводит к искусственному внесению определенности там, где ее нет по существу, либо к использованию громоздкого математического аппарата. Так, рассуждения на словесном уровне считаются доказательными в большинстве ситуаций, в то время как попытка уточнить смысл используемых слов с помощью, например, теории нечетких множеств приводит к весьма громоздким математическим моделям. Набор сценариев должен быть обозрим. Приходится исключать различные маловероятные события. Само по себе создание набора сценариев - предмет экспертного исследования. Кроме того, эксперты могут оценить вероятности реализации того или иного сценария. Прогнозирование в рамках каждого конкретного сценария с целью получения ответов на интересующие исследователя вопросы также осуществляется в соответствии с описанной выше методологией прогнозирования. При стабильных условиях могут быть применены статистические методы прогнозирования временных рядов. Однако этому предшествует анализ с помощью экспертов, причем зачастую прогнозирование на словесном уровне является достаточным (для получения интересующих исследователя и ЛПР выводов) и не требующим количественного уточнения.

   Как известно, при принятии решений на основе анализа ситуации, в том числе результатов прогнозных исследований, можно исходить из различных критериев. Так, можно ориентироваться на то, что ситуация сложится наихудшим, или наилучшим, или средним (в каком-либо смысле) образом. Можно попытаться наметить мероприятия, обеспечивающие минимально допустимые полезные результаты при любом варианте развития ситуации, и т.д.

   Еще один вариант экспертного оценивания - мозговой штурм. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.

    Как показывает опыт проведения экспертных исследований, с точки зрения менеджера - организатора такого исследования целесообразно выделять следующие стадии проведения экспертного опроса.

   1) Принятие решения о необходимости проведения экспертного опроса и формулировка Лицом, Принимающим Решения (ЛПР) его цели. Таким образом, инициатива должна исходить от руководства, что в дальнейшем обеспечит успешное решение организационных и финансовых проблем.

   2) Подбор и назначение ЛПР основного состава Рабочей группы, сокращенно РГ (обычно - научного руководителя и секретаря). При этом научный руководитель отвечает за организацию и проведение экспертного исследования в целом, а также за анализ собранных материалов и формулировку заключения экспертной комиссии. Он участвует в формировании коллектива экспертов и выдаче задания каждому (вместе с ЛПР или его представителем). Дело секретаря - ведение документации, решение организационных задач.

   3) Разработка РГ (точнее, ее основным составом, прежде всего научным руководителем и секретарем) и утверждение у ЛПР технического задания на проведение экспертного опроса. На этой стадия решение о проведении экспертного опроса приобретает четкость во времени, финансовом, кадровом, материальном и организационном обеспечении. В частности, в РГ выделяются различные группы специалистов - аналитическая, эконометрическая (специалисты по методам анализа данных), компьютерная, по работе с экспертами (например, интервьюеров), организационная. Очень важно для успеха, чтобы все эти направления работ были утверждены ЛПР.

   4) Разработка аналитической группой РГ подробного сценария (т.е. регламента) проведения сбора и анализа экспертных мнений (оценок). Сценарий включает в себя прежде всего конкретный вид информации, которая будет получена от экспертов (например, тексты (слова), условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы ). Так, довольно часто экспертов просят высказаться в свободной форме, ответив при этом на некоторые количество заранее сформулированных вопросов. Кроме того, их просят заполнить формальную карту, в каждом пункте выбрав одну из нескольких градаций. Сценарий должен содержать и конкретные методы анализа собранной информации. Например, вычисление медианы Кемени, статистический анализ люсианов, применение иных методов статистики объектов нечисловой природы и других разделов современной эконометрики. Эта работа ложится на эконометрическую и компьютерную группу РГ. Традиционная ошибка - сначала собрать информацию, а потом думать, что с ней делать. В результате, как показывает опыт, информация используется лишь на 1-2%.

   5) Подбор экспертов в соответствии с их компетентностью. На этой стадии РГ составляет список возможных экспертов.

   6) Формирование экспертной комиссии. На этой стадии РГ проводит переговоры с экспертами, получает их согласие на работу в экспертной комиссии (сокращенно ЭК), возможно, часть намеченных РГ экспертов отказывается по тем или иным причинам. ЛПР утверждает состав экспертной комиссии, возможно, вычеркнув или добавив часть экспертов к предложениям РГ. Проводится заключение договоров с экспертами об условиях их работы и ее оплаты.

   7) Проведение сбора экспертной информации. Часто перед этим проводится набор и обучение интервьюеров - одной из групп, входящих в РГ.

   8) Компьютерный анализ экспертной информации с помощью включенных в сценарий методов. Ему обычно предшествует введение информации в компьютеры.

   9) При применении согласно сценарию экспертной процедуры из нескольких туров - повторение двух предыдущих этапов.

   10) Итоговый анализ экспертных мнений, интерпретация полученных результатов аналитической группой РГ и подготовка заключительного документа ЭК для ЛПР.

   11) Официальное окончание деятельности РГ, в том числе утверждение ЛПР заключительного документа ЭК, подготовка и утверждение научного и финансового отчетов РГ о проведении исследования, оплата труда экспертов и сотрудников РГ, официальное прекращение деятельности (роспуск) ЭК и РГ.

   Разберем подробнее отдельные стадии экспертного исследования.

    Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

   В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

   Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания, из которого можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел.

   Как быть, если экспертиза проводится впервые, устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания кома нельзя заранее предсказать. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

   Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

   Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях весьма мало. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям.

   При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "вместе пуд соли съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга.

   Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

   Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

   Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

   В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой утвердить одну из возможных точек зрения может принести лишь вред.

   Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки.

   Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов.

   Цель - сбор информации для ЛПР. Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

   Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Именно от них следует ожидать наиболее оригинальных аргументов.

   Цель - подготовка проекта решения для ЛПР. Математические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

   Догма согласованности. Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

   Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, известен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в академическом Институте проблем управления (автоматики и телемеханики)). Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее "полюбившейся" Рабочей группе (или даже "подсказанной" ЛПР).

   Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза, согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями, равномерно распределенными на множестве всех ранжировок. Отклонение этой нулевой гипотезы толкуется как согласованность ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном математико-статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных). Группы экспертов с близкими методами можно выделить эконометрическими методами кластер-анализа.

   Мнения диссидентов. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов, т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР.

   Догма одномерности. Распространен довольно примитивный подход, согласно которому объект экспертизы всегда можно оценить одним числом. Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".

   Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям: расход бензина на 100 км пути (в среднем); надежность (средняя стоимость ремонта за год); экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах; маневренность; быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость; длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе; дизайн (привлекательность и "модность" внешнего вида и отделки салона); вес, и т.д. Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность. Для машин различных государственных служб, видимо, надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д. Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

   В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов). Наоборот, в подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

   Второе основание классификации экспертных процедур - число туров. Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость. Можно уменьшить расходы, вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур. Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

   Третье основание классификации экспертных процедур - организация общения экспертов. Рассмотрим достоинства и недостатки каждого из элементов шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений. При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Обычно такая ситуация соответствует однотуровой экспертизе. Заочное анонимное общение, например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура. Заочное общение без анонимности соответствует, например, общению по Интернету. Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное время и место. При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего (по чину и должности) к старшему. Наконец, очная экспертиза без ограничений - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать.

   Комбинация различных видов экспертизы. Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим защиту студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу. Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

   1. Согласно официальным данным Государственного комитета РФ по статистике в 1998 г. выполняли исследования и разработки 383 высшие учебные заведения, а подготовку аспирантов вели 538 вуза. Как можно объяснить это несоответствие?

   (А) По крайней мере в 155 вузах аспиранты не ведут научную работу.

   (Б) Профессора, руководители аспирантов, не ведут научную работу.

   (В) Госкомстат РФ учитывает только финансирование научных работ и наличие научных ставок.

   (Г) Данные Госкомстата РФ не имеют отношения к действительности.

   2. Двадцать опрошенных назвали следующие максимально допустимые для них цены (в руб.) за единицу некоторого товара:

   40, 25, 30, 50, 35, 20, 50, 32, 15, 40, 20, 40, 45, 30, 50, 25, 35, 20, 35, 40.

   При какой цене максимальна прибыль, если издержки равны 12?

   (А) 30; (Б) 32; (В) 35(Г) 40.

   3. При исследовании предпочтений потребителей открытые вопросы по сравнению с закрытыми:

   (А) труднее для опрашиваемых, но легче для обработки;

   (Б) легче для опрашиваемых, но труднее для обработки;

   (В) труднее как для опрашиваемых, так и для обработки;

   (Г) легче как для опрашиваемых, так и для обработки.

   4. Пусть при ответе на вопрос с двумя вариантами ответов ("да" - "нет") из 657 опрошенных 289 сказали "да". Доверительный интервал для доли отвечающих "да" в генеральной совокупности, соответствующий доверительной вероятности 0,95, таков:

   (А) [0,245; 0,398]; (Б) [0,435; 0,445]; (В) [0,405; 0,556]; (Г) [0,402; 0,478].

    5. Из 513 юношей 193 любят "Сникерс", а из 748 девушек 327. Значение статистического критерия Q для проверки гипотезы о равенстве вероятностей равно:

   (А) 3,38; (Б) -2,176; (В) 0,25; (Г) 12,56; (Д) -0,173.

   6. В условиях задачи 5 гипотеза об одинаковой привлекательности "Сникерса" для юношей и девушек (на уровне значимости 0,05):

   (А) принимается;

   (Б) отклоняется;

   (В) данных для принятия решения недостаточно;

   (Г) уровень значимости 0,05 нельзя использовать.

   Метод наименьших квадратов. Исходные данные представленный в таблице набор n пар чисел (t_k , x_k ), k = 1,2,…, n, где t_k независимая переменная, а x_k зависимая. Предполагается, что переменные связаны зависимостью x_k = a t_k + b + e_k , k = 1,2,…,n, где a и b параметры, неизвестные статистику и подлежащие оцениванию, а e_k погрешности, искажающие зависимость. Для табличных данных n = 6.

   Приведенные данные используются при решении задач 7-14.

   7. Оценка а* коэффициента при линейном члене такова:

   (А) 2,38; (Б) -0,13; (В) 3,25; (Г) 2,56; (Д) 17,3.

   8. Оценка b* свободного члена такова:

   (А) 9,38; (Б) -10,13; (В) 12,42; (Г) 13,56; (Д) 41,3.

   9. Сумма исходных значений зависимой переменной больше суммы восстановленных значений этой переменной на

   (А) 0,08 (Б) -1,34; (В) 0; (Г) 8,56;( Д) -41,3.

   10. Остаточная сумма квадратов равна

   (А) 5,34; (Б) 1,17; (В) - 2,45; (Г) 0,06; (Д) 32,3.

   11. Оценка дисперсии погрешностей равна:

   (А) 0,195; (Б) -3,47; (В) 12,33; (Г) 0,021; (Д) 12,4.

   12. Прогнозное значение для момента t = 12 равно:

   (А) 50,19; (Б) 234,7; (В) 43,14; (Г) 40,02; (Д) 37,02.

   13. Верхняя доверительная граница (при доверительной вероятности 0,95) для прогнозного значения для момента t = 12 равна:

   (А) 50,19; (Б) 4,71; (В) 39,82; (Г) 60,02; (Д) 43,92.

   14. Нижняя доверительная граница (при доверительной вероятности 0,95) для прогнозного значения для момента t = 12 равна:

   (А) 33,48; (Б) 7,71; (В) 42,36; (Г) 41,02; (Д) 43,92.

   15. Доверительный интервал для прогнозного значения при увеличении доверительной вероятности:

    (А) сузится;

    (Б) расширится;

    (В) останется без изменения;

    (Г) сдвинется вверх, сохранив длину.

    Индекс инфляции. На основе данных таблицы рассчитайте индекс инфляции с 14.03.1991 по 14.03.2001 на основе потребительской корзины из 6 продуктов питания.

   16. Индекс инфляции равен:

   (А) 35,23(Б) 67,80(В) 48,54(Г) 13,75

   17. Гражданин Иванов в марте 1991 г. получил 450 руб., а в марте 2001 г. - 12500 руб. (индекс инфляции найден при решении задачи 16). Его реальный доход

   (А) увеличился; (Б) уменьшился; (В) не изменился;

   (Г) доходы, полученные в разные годы, нельзя сопоставлять.

   18. В условиях задачи 17 доход гражданина Иванова

   (А) увеличился в 1,27 раз (Б) уменьшился в 1,75 раз;

   (В) уменьшился в 2,34 раза;(Г) не изменился.

   19. За январь индекс инфляции составил 17%, а за февраль 23%. Индекс инфляции за два месяца равен

   (А) 1,40;(Б) 1,54;(В) 1,44;(Г) 1,36.

   20. В условиях задачи 19 средний индекс (темп) инфляции за два месяца равен

   (А) 20%;(Б) 19,96%;(В) 25%;(Г) 18%.

   21. Гражданин Иванов положил деньги в банк под 20% годовых. Инфляция за год составила 15%. Реальный процент платы за депозит составил

   (А) 5%;(Б) 4,35%;(В) 5,28%; (Г) 35%.

   22. При анализе данных, измеренных в порядковой шкале, можно вычислять:

   (А) среднее арифметическое; (Б) медиану;

   (В) среднее геометрическое; (Г) среднее квадратическое.

   23. При анализе данных, измеренных в шкале интервалов, можно вычислять:

   (А) среднее гармоническое; (Б) среднее арифметическое;

   (В) среднее геометрическое; (Г) среднее квадратическое.

   24. Расстояние Кемени - это расстояние между

   (А) городами (в км); (Б) функциями;

   (В) векторами; (Г) бинарными отношениями.

   25. Медиана Кемени - это

   (А) среднее арифметическое элементов выборки;

   (Б) точка пространства, для которой достигает минимума сумма расстояний от точки до элементов выборки;

   (В) то же самое, что и расстояние Кемени;

   (Г) середина стороны треугольника.

   1. Статистический приемочный контроль - это

   (А) контроль со стороны налоговых органов;

   (Б) контроль соблюдения персоналом установленного режима;

   (В) контроль качества в партиях продукции;

   (Г) контроль технологических процессов.

   2. Оперативная характеристика - это

   (А) вероятность приемки партии в зависимости от входного уровня дефектности;

   (Б) характеристика качества продукции;

   (В) перечень числовых значений параметров, задающих план статистического контроля;

   (Г) основа для оперативного планирования деятельности служб качества.

   3. Риск поставщика обычно принимает значение

   (А) 0,50; (Б) 3,14;(В) 0,10;(Г) 0,05.

   4. Риск потребителя обычно принимает значение

   (А) 0,50; (Б) 3,14;(В) 0,10;(Г) 0,05.

   5. Для плана (10; 0) приемочный уровень дефектности равен

   (А) 0,005; (Б) 3,14;(В) 0,10;(Г) 0,05.

   6. Контроль с разбраковкой - это контроль, при котором забракованная партия

   (А) утилизируется;

   (Б) продается по более низкой цене;

   (В) подвергается повторному выборочному контролю;

   (Г) подвергается сплошному контролю.

   7. Предел среднего выходного уровня дефектности для плана (100; 0) равен

   (А) 0,368; (Б) 0,0368;(В) 0,00368;(Г) 0,000368.

   8. Принцип распределения приоритетов - это

   (А) правовое понятие, связанное с презумпцией невиновности;

   (Б) способ организации производства при наличии многих заказов;

   (В) метод расчета планов контроля поставщика и потребителя;

   (Г) основа для расчета арбитражной характеристики.

    9. Усечение планов контроля используется для

   (А) наказания нерадивых работников ОТК;

   (Б) повышения достоверности результатов контроля;

   (В) сокращения объемов контроля при сохранении достоверности;

   (Г) расширения возможностей контроля.

   10. Статистические методы изучения точности и стабильности технологического процесса относятся к

   (А) прикладной статистике;

   (Б) статистическому приемочному контролю;

   (В) статистическому регулированию технологических процессов;

   (Г) планированию экспериментов.

   11. Статистическое регулирование технологических процессов основано на использовании

   (А) теоремы Муавра-Лапласа;

   (Б) контрольных карт Шухарта и кумулятивных сумм;

   (В) цензурированных выборок;

   (Г) планирования экспериментов.

    12. Наиболее общим критерием в проблеме обнаружения эффекта (проверки однородности в связанных выборках) является

   (А) критерий знаков;

   (Б) критерий проверки равенства 0 математического ожидания;

   (В) критерий типа омега-квадрат для проверки симметрии распределения;

   (Г) критерий Стьюдента.

   13. Статистика интервальных данных - это раздел эконометрики, в котором

   (А) для оценивания параметров используются интервалы;

   (Б) исходные данные - не числа, а интервалы;

   (В) вычислительные погрешности оцениваются по правилам интервальной математики;

   (Г) исходные данные группируются по интервалам.

   14. Для интервальных чисел Х = [5; 10] и У = [1; 2] разность X - Y равна

   (А) [4; 8]; (Б) [3; 8];(В) [4; 9];(Г) [3; 9].

   15. Нотна функции от результатов наблюдений - это

   (А) максимально возможное значение этой функции;

   (Б) максимально возможное отклонение значения этой функции, вызванное интервальностью статистических данных;

   (В) дисперсия статистики - функции от случайных результатов наблюдений;

   (Г) средний квадрат ошибки статистической оценки параметра, вычисляемой с помощью рассматриваемой функции.

   16. Рациональный объем выборки - это объем, определяемый

   (А) имеющимся финансированием;

   (Б) условием достаточности для принятия решений;

   (В) равенством метрологической (нотна) и статистической погрешностей;

   (Г) на основе экспертных оценок.

   17. Решение задачи "Максимум прибыли при минимуме затрат"

   (А) не существует;

   (Б) позволяет повысить эффективность работы предприятия;

   (В) может быть получено с помощью эконометрических методов;

   (Г) нацелено на осуществление миссии организации.

   18. Решение двухкритериальной задачи минимизации ошибок классификации (в случае двух классов)

   (А) позволяет построить оптимальное правило классификации;

   (Б) дает возможность отнести вновь поступающий объект к одному из двух классов;

   (В) приводит к построению объективной классификации;

   (Г) не существует.

   19. Непараметрические оценки плотности

   (А) могут быть рассчитаны только для числовых случайных величин;

   (Б) слишком сложны для практического использования;

   (В) применяются для диагностики в произвольных пространствах;

   (Г) представляют лишь внутриматематический интерес.

   20. "Вероятность правильной классификации" как характеристика качества (эффективности) алгоритмов диагностики

   (А) может быть использована при решении различных организационно-экономических задач;

   (Б) дает объективную оценку качества алгоритма;

   (В) не зависит от порогового значения в линейном дискриминантном анализе;

   (Г) должна быть заменена "прогностической силой".

   21. Задачи группировки и кластер-анализа

   (А) совпадают;

   (Б) не имеют ничего общего;

   (В) могут решаться одними и теми же алгоритмами;

   (Г) не представляют интереса для экономиста и менеджера.

   22. Сколько существует алгоритмов кластер-анализа?

   (А) Три - ближнего соседа, дальнего соседа и средней связи.

   (Б) Не более 10.

   (В) Несколько десятков.

   (Г) Бесконечно много.

   23. Оптимизационные постановки кластер-анализа основаны на

   (А) минимизации внутрикластерного разброса;

   (Б) минимизации межкластерного разброса;

   (В) двухкритериальной постановке минимизации одновременно внутрикластерного и межкластерного разбросов;

   (Г) минимизации суммы попарных расстояний.

   24. Оценка риска - это

   (А) вероятность нежелательного события;

   (Б) величина случайного ущерба;

   (В) характеристики случайного ущерба (математическое ожидание, коэффициент вариации и др.);

   (Г) вероятность нежелательного события и/или характеристики случайного ущерба (в зависимости от ситуации).

   25. При управлении риском

   (А) минимизируют случайный ущерб:

   (Б) минимизируют средний ущерб;

   (В) минимизируют дисперсию случайного ущерба;

   (Г) решают двухкритериальную задачу минимизации математического ожидания и дисперсии случайного ущерба.