Орлов Александр Иванович, научный руководитель работы, научный руководитель Лаборатории эконометрических исследований Московского государственного института электроники и математики (технического университета), доктор технических наук, профессор (введение, разд. 1 (пп.1.1-1.6), разд.2 (пп.2.1-2.4), разд.3 (пп.3.1-3.5), разд. 4 (пп.4.1-4.4), заключение)
   Жихарев Виктор Николаевич, начальник Лаборатории эконометрических исследований (НИЛ-63) Московского государственного института электроники и математики (технического университета), ст. преподаватель МГИЭМ (ту) (разд. 1 (п.1.7), разд.3 (пп.3.2, 3.4, 3.5))
   Цупин Владимир Андреевич, доцент МГИЭМ (ту), кандидат физико-математических наук (введение, разд. 1 (п.1.7), разд.3 (пп.3.2, 3.5))
   Хакимуллин Евгений Робертович, доцент МГИЭМ (ту), кандидат физико-математических наук (разд.3 (п.3.5))
   Орлов Антон Александрович, стажер-иследователь Лаборатории эконометрических исследований (разд.2 (п.2.3), разд.3 (пп.3.1, 3.3, 3.5))

Реферат
(Отчет на 122 стр., 135 использованных литературных источников.)

   Настоящий отчет состоит из введения, четырех разделов, заключения и списка литературы. В разделе 1 собраны основные результаты, полученные нами в области экспертных оценок. Рассмотрены основные проблемы теории и практики экспертных оценок, основные стадии экспертного опроса. Проанализированы имеющиеся и предложены новые методы подбора экспертов, математические модели поведения экспертов, математические методы анализа экспертных оценок. Большое внимание уделено вопросам методологии математических методов в области экспертных оценок. Рассмотрено разрабатываемое нашим коллективом автоматизированное рабочее место МАТЭК (МАТематика в ЭКспертизе) специалиста по проведению экспертных исследований.
   Второй раздел отчета посвящен технологии сценарных экспертных прогнозов. Анализ современного состояния социально-экономического прогнозирования привел к разработке нового вербально-логико-статистического метода, на основе которого сформулированы основные идеи используемой нами технологии сценарных экспертных прогнозов. В качестве примера применения этой технологии сценарных экспертных прогнозов проанализированы последствия отмены таможенных пошлин. Разобраны некоторые распространенные экономические догмы, влияние которых на массовое сознание необходимо учитывать при построении сценариев социально-экономического развития.
   В третьем разделе отчета с целью построения основных сценариев социально-экономического развития России на период до 2007 г. проводится анализ современного социально-экономического состояния России с различных точек зрения:
   - на основе разработок нобелевских лауреатов по экономике;
   - по итогам проведенного нами экспериментального изучение динамики цен в сравнении с данными Госкомстата РФ;
   - с помощью новой статистической хронологии истории, которую мы рассматриваем как ключ к экспертному прогнозированию социально-экономического развития России.
   Проведен системный анализ развития ситуации в России, на его основе сформулированы и обоснованы четыре основных сценария социально-экономического развития России на период до 2007 г.
   В четвертом разделе изучена динамика ВВП в четырех основных сценариях социально-экономического развития России на период до 2007 г., а именно, в сценариях дальнейшего развития курса реформ, торможения реформ (стагнации), сценарии смены курса в направлении национальных интересов России и сценарии смуты.
   В Заключении подведены итоги настоящей научно-исследовательской работы. Список литературы включает 135 названий.

   Введение
   Раздел 1. Современный этап развития теории экспертных оценок
   1.1. Введение
   1.2. Основные проблемы теории и практики экспертных оценок
   1.3. Основные стадии экспертного опроса
   1.4. Подбор экспертов
   1.5. Математические модели поведения экспертов
   1.6. Математические методы анализа экспертных оценок
   1.7. Автоматизированное рабочее место МАТЭК
   Раздел 2. Технология сценарных экспертных прогнозов
   2.1. Методы социально-экономического прогнозирования
   2.2. Основные идеи технологии сценарных экспертных прогнозов
   2.3. К чему приведет отмена таможенных пошлин (пример применения технологии сценарных экспертных прогнозов)
   2.4. О некоторых распространенных экономических догмах
   Раздел 3. Построение основных сценариев социально-экономического развития России на период до 2007 г.
   3.1. Анализ современного социально-экономического состояния России (на основе разработок нобелевских лауреатов по экономике)
   3.2. Экспериментальное изучение динамики цен и данные Госкомстата РФ
   3.3. Новая статистическая хронология истории - ключ к экспертному прогнозированию социально-экономического развития России
   3.4. Анализ развития ситуации в России
   3.5. Формулировка и обоснование четырех основных сценариев социально-экономического развития России на период до 2007 г.
   Раздел 4. Динамика ВВП в четырех основных сценариях социально-экономического развития России на период до 2007 г.
   4.1. Сценарий дальнейшего развития курса реформ
   4.2. Сценарий торможения реформ (стагнации)
   4.3. Сценарий смены курса в направлении национальных интересов России
   4.4. Сценарий смуты
   Заключение
   Литература

   В соответствии с техническим заданием отчет посвящен проблемам разработки новых эконометрических методов анализа нечисловых данных в экономических исследованиях, в частности, для прогнозирования валового внутреннего продукта (ВВП).
   Целями настоящей научно-исследовательской работы являются:
   - разработка научных и методических основ для расчета и прогнозирования валового внутреннего продукта (ВВП) и других макроэкономических показателей;
   - разработка новых эконометрических методов анализа нечисловых данных и методик их использования при проведении экспертных исследований методом сценариев.
   Прогнозирование валового внутреннего продукта (ВВП) и других макроэкономических показателей России предусматривает:
   - сбор концептуальной и статистической информации о тенденциях макроэкономического и политического развития страны, ее регионов и внешних сил;
   - разработка и изучение современных методов экспертного прогнозирования на основе сценарного подхода;
   - разработка математических методов анализа нечисловых мнений экспертов в рамках сценарного подхода на основе современной статистики объектов нечисловой природы, в том числе нечеткой и интервальной;
   - разработка программного обеспечения, необходимого для решения задач экспертного прогнозирования на основе сценариев с использованием математических методов;
   - построение различных наиболее возможных вариантов концепций сценариев развития внутриполитической и внутриэкономической ситуации в России;
   - экспертный отбор наиболее значимых концепций для разработки конкретных вариантов сценариев развития социально-экономической обстановки в России;
   - макроэкономическое моделирование динамики ВВП вплоть до 2007 г. на основе сценарного подхода с применением современных методов статистического прогнозирования;
   - разработка рекомендаций по практическому использованию сценарных методов экспертного оценивания и соответствующего математического аппарата и программного обеспечения;
   - подготовка методических материалов и распространение их по структурам ВПК и МО.
   Разработка научных и методических основ сценарных методов экспертных оценок предусматривает:
   - анализ разработанных и используемых (с той или иной частотой) в настоящее время процедур экспертных оценок;
   - разработку концепции современной методики экспертного оценивания методом сценариев;
   - разработку аванпроекта математического обеспечения работы комиссии экспертов, включая методы решения математических задач, связанных с анализом мнений экспертов;
   - разработка проекта стенда математического и программного обеспечения работы комиссии экспертов (АРМ ТМАТЭКУ);
   - проведение пробных опросов с помощью выбранного метода по подбору экспертов по проблеме сценариев развития внутриполитической и внутриэкономической ситуации в России;
   - анализ существующих методов изучения динамики социально-экономических процессов, выбор оптимального метода и разработка математического обеспечения для применения выбранного метода;
   - подготовка методических материалов и распространение их по организациям МО и ВПК.
   Настоящий отчет состоит из введения, четырех разделов, заключения и списка литературы. В разделе 1 собраны основные результаты, полученные нами в области экспертных оценок. Рассмотрены основные проблемы теории и практики экспертных оценок, основные стадии экспертного опроса. Проанализированы имеющиеся и предложены новые методы подбора экспертов, математические модели поведения экспертов, математические методы анализа экспертных оценок. Большое внимание уделено вопросам методологии математических методов в области экспертных оценок. Рассмотрено разрабатываемое нашим коллективом автоматизированное рабочее место МАТЭК (МАТематика в ЭКспертизе) специалиста по проведению экспертных исследований.
   Второй раздел отчета посвящен технологии сценарных экспертных прогнозов. Анализ современного состояния социально-экономического прогнозирования привел к разработке нового вербально-логико-статистического метода, на основе которого сформулированы основные идеи используемой нами технологии сценарных экспертных прогнозов. В качестве примера применения этой технологии сценарных экспертных прогнозов проанализированы последствия отмены таможенных пошлин. Разобраны некоторые распространенные экономические догмы, влияние которых на массовое сознание необходимо учитывать при построении сценариев социально-экономического развития.
   В третьем разделе отчета с целью построения основных сценариев социально-экономического развития России на период до 2007 г. проводится анализ современного социально-экономического состояния России с различных точек зрения:
   - на основе разработок нобелевских лауреатов по экономике;
   - по итогам проведенного нами экспериментального изучение динамики цен в сравнении с данными Госкомстата РФ;
   - с помощью новой статистической хронологии истории, которую мы рассматриваем как ключ к экспертному прогнозированию социально-экономического развития России.
   Проведен системный анализ развития ситуации в России, на его основе сформулированы и обоснованы четыре основных сценария социально-экономического развития России на период до 2007 г.
   В четвертом разделе изучена динамика ВВП в четырех основных сценариях социально-экономического развития России на период до 2007 г., а именно, в сценариях дальнейшего развития курса реформ, торможения реформ (стагнации), сценарии смены курса в направлении национальных интересов России и сценарии смуты.
   В Заключении подведены итоги настоящей научно-исследовательской работы. Список литературы включает 135 названий.

   1.1. Введение
   На основе более чем двадцатипятилетнего опыта работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" и ее научного семинара "Математические методы анализа экспертных оценок" в настоящей главе отчета рассматриваются основные проблемы теории и практики экспертных оценок.
   Современные математические методы экспертных оценок - это в основном методы статистики объектов нечисловой природы. В настоящей главе отчета обсуждаются закрепившиеся догмы в области экспертных оценок и современные рекомендации, применение статистики объектов нечисловой природы в экспертных оценках, вопросы построения интегральных показателей качества, эффективности и пр., т.е. рейтингов, а также перспективы разработки и применения широкой гаммы современных методик экспертных оценок на основе подходов и результатов указанного научного коллектива. В целом глава дает научное обоснование разработке автоматизированного рабочего места МАТЭК (МАТематические методы в ЭКспертных оценках).
   Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
   Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.
   Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
   Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещ¨ является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, [1]).
   В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Вполне естественно, что сначала в нашей стране появились публикации о простейших методах экспертных оценок (см., например, [2-3]). Как обычно бывает, тривиальные - а потому легко воспринимаемые и воспроизводимые - соображения широко распространились, вошли в массовое сознание инженеров и управленцев (менеджеров), в учебные курсы, а затем - стали тормозом на пути внедрения современных методов в области экспертных оценок, разработанных позже и описанных, например, в работах [4-8]. По нашему мнению, наиболее продвинутые результаты в рассматриваемой области были получены в результате работы уже упомянутой комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах (см.[9-30] и др. публикации).
   В рамках настоящей главы отчета нельзя подробно рассказать о различных методах экспертных оценок (да и нет в этом необходимости, поскольку существуют многочисленные публикации). Тем не менее, выделим основные проблемы в рассматриваемой области, что можно рассматривать как экспертный анализ состояния дел в научно-практической дисциплине "Экспертные оценки". Этот анализ необходим для выбора наиболее адекватной процедуры прогнозирования динамики валового внутреннего продукта России с учетом возможных сценариев развития социально-экономической обстановки в стране. Подобное прогнозирование возможно только на основе экспертных оценок, поскольку "плавное течение" статистических временных рядов постоянно прерывается волевым вмешательством высших органов государственного управления, а в перспективе - и иными силами.

   Что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии.
   Цель - сбор информации для ЛПР
   Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, описанный в [1]. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.
   Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.
   Цель - подготовка проекта решения для ЛПР
   Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
   Догма согласованности
   Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [1] приведен пример деления специалистов при оценке результатов научно-исследовательских работ на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики)).
   Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР).
   Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез, например, с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена [31], то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [32].)
   Мнения диссидентов
   С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, в [33] показана крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.
   Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
   В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
   Догма одномерности.
   Распространен довольно примитивный подход так называемой "квалиметрии" (см., например, [34]), согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - е¨ "рыночной стоимости".
   Каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
   - расход бензина на 100 км пути (в среднем);
   - надежность (средняя стоимость ремонта за год);
   - быстрота набора скорости 100 км/час после начала движения;
   - максимальная достигаемая скорость;
   - длительность сохранения в салоне положительной температуры при низкой наружной температуре (- 50 градусов по Цельсию) и выключенном двигателе;
   - вес, и т.д.
   Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов страны - нет.
   Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества не могут дать объективных выводов. В недавние времена они использовались для создания впечатления о высоком качестве отечественной продукции. Ведь западные машины не морозоустойчивые, не так ли? Значит, подбирая нужным образом коэффициенты в линейной функции от показателей качества, а именно, занижая те, по которым западные машины лучше (вес и др.) и завышая те, по которым лучше отечественные (морозоустойчивость), можно добиться поставленной цели. Почему-то рыночные отношения не считаются с подобными выводами. (С этим, правда, можно бороться, выбирая другие коэффициенты - те, что вытекают из реального сравнения изделий по конкурентоспособности).
   Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (см., например,[35]).
   В некоторых случаях вс¨-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (см., например, [36]). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...

   Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии проведения экспертного опроса:
   1) формулировка Лицом, Принимающим Решения, цели экспертного опроса;
   2) подбор ЛПР основного состава Рабочей группы;
   3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
   4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
   5) подбор экспертов в соответствии с их компетентностью;
   6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
   7) проведение сбора экспертной информации;
   8) анализ экспертной информации;
   9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;
   10) интерпретация полученных результатов и подготовка заключения для ЛПР;
   11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).

   Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны процедур подбора экспертов.
   Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
   При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
   Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
   В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
   Есть полезный метод "снежного кома" [1], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
   Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.

   Теория и практика экспертных оценок весьма математизированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа экспертных оценок.
   Модели поведения экспертов обычно основаны на предположении, что эксперты оценивают интересующий ЛПР параметр (например, ранжировку образцов изделий по конкурентоспособности) с некоторыми ошибками, т.е. эксперта рассматривают как особого рода прибор с присущими ему метрологическими характеристиками. Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы. Обычно предполагается, что эксперт чаще выбирает правильное решение (т.е. адекватное реальности), чем неправильное. В математических моделях это выражается в том, что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстояния от центра распределения - истинного значения параметра. Различные варианты моделей поведения экспертов описаны и изучены в [9,12,18, 26,27,37,38] и других публикациях.
   На математических моделях поведения экспертов основаны методы планирования экспертного опроса, сбора и анализа ответов экспертов. Очевидно, чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные - и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели. Рассмотрим триаду моделей поведения экспертов:
   параметрическая модель - непараметрическая модель - модель анализа данных
   Параметрическим моделям соответствуют наиболее сильные предположения, проверить которые обычно не удается. Так, следует обратить внимание на то, что обычно невозможно обосновать нормальность распределения ответов экспертов. Причины отсутствия нормальности в реальных данных, частным случаем которых являются экспертные оценки, подробно рассмотрены в [39]. Дополнительным фактором является ограниченность числа экспертов - обычно не более 10 - 30, что делает невозможным надежную проверку нормальности даже с помощью такого эффективного по отношению к обычно встречающимся альтернативам критерия, как критерий Шапиро-Уилка.
   В начале семидесятых годов был проведен обширный эксперимент (на стыке с психофизиологией) по изучению поведения экспертов. Каждому из них было предъявлено пять образцов. Эксперты рассматривались как "приборы", которые сравнивали образцы по весу. Оказалось, что ответы экспертов одинаково хорошо соответствуют как модели Терстоуна, так и модели Бредли-Терри-Льюса [9]. А ведь эти модели принципиально различны, выводы на их основе существенно отличаются!
   На наш взгляд, сказанного достаточно, чтобы относиться с сомнением к обоснованности применения параметрических моделей экспертных оценок.
   Непараметрические модели экспертных оценок опираются лишь на предположения общего характера о возможности вероятностно-статистического описания поведения экспертов с помощью непрерывных функций распределения или - в дискретном случае - люсианов, параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да". Поэтому во многих ситуациях такие модели представляются адекватными.
   Под моделями анализа данных понимаем здесь модели, не использующие вероятностные соображения. Очевидно, они наиболее адекватны и защищены от критики, поскольку не претендуют на выход на пределы имеющихся данных, не предполагают построения и обоснования какой-либо вероятностно-статистической модели реального явления или процесса. Однако с их помощью, очевидно, нельзя сделать никаких заключений о будущих аналогичных ситуациях. А ведь экспертные опросы проводятся ради обоснования поведения в будущем! Другими словами, методы и модели анализа данных - наиболее обоснованные и наиболее бесполезные.
   Итак, без вероятностных моделей не обойтись. Поскольку параметрические модели обычно невозможно обосновать, остается использовать непараметрические.

   При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику (по нашей оценке, к прикладной статистике относится не менее 1 000 000 статей и книг, а из них не менее 100 000 являются актуальными в настоящее время). В этом утверждении нет ничего нового: поскольку одно из широко применяемых научных направлений желает рассматривать эксперта как прибор, измеряющий интересующий ЛПР параметр - номер лучшего по конкурентоспособности изделия, ранжировку проектов и т.д. - то и экспертные оценки оно сопоставляет с результатами измерений - традиционным видом данных, обрабатываемых с помощью методов прикладной статистики.
   Тем не менее можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.
   Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (см., например, [18,22,23,38,40-42]).
   Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответа в форме числа - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей [43]. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период?"
   Эксперт может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В [22,38] это утверждение продемонстрировано на примере неадекватного данным усреднения отношения школьников к профессиям: десяти градациям были произвольно приписаны баллы 1,2,3,...,10. Столь же естественно было бы использовать баллы 1, 4, 9, ... , 100 или (-50), (-30),(-5),..., 17, т.е. произвольные десять числовых значений, расположенных в порядке возрастания. С позиций репрезентативной теории измерений [22,23] следует применять алгоритмы анализа данных, результаты работы которых не меняются при допустимом преобразовании шкалы.
   Настоящая глава раздела отчета соответствует другой парадигме по сравнению со многими публикациями по вопросам статистики объектов нечисловой природы, например, статьями [40-42]. Здесь мы рассматриваем конкретную научно-практическую дисциплину, в которой постоянно используются методы статистического анализа нечисловых данных, в то время как работы [40-42] посвящены одному из разделов прикладной математической статистики. Другими словами, настоящая глава раздела отчета написана с позиций специалиста по экспертным оценкам, а статьи [40-42] - с позиций специалиста по статистическим методам.
   Сначала мы развивали тематику экспертных оценок, изучая возможность использования в этой области методов репрезентативной теории измерений [44,45], нечетких множеств [46,47], аксиоматического введения метрик [22,48] и т.д. Разработанные подходы, методы, результаты рассматривались как часть математической теории экспертного оценивания. Соответствующие статьи [49-55] публиковались в сборниках по экспертным оценкам и были написаны на языке экспертных оценок. И лишь затем, после десятилетней работы, было осознано, что разработана новая область прикладной математической статистики, которая может применяться не только в экспертных оценках, но и в технических науках, медицине, социально-экономических исследованиях, практически во всех направлениях научных и практических исследований. С другой стороны, для конкретной работы в области экспертных оценок, возможно, более полезны практические рекомендации [1] , чем упомянутые математические результаты и содержащие их публикации. Однако сейчас пришло время вернуться к прежней парадигме, разработанный математический аппарат статистики объектов нечисловой природы использовать для решения конкретных задач практики экспертных исследований.
   Тесная связь между экспертными оценками и статистикой объектов нечисловой природы позволяет опустить здесь описание математического аппарата экспертных оценок, отослав читателя к обзорам [40-42]. В настоящей главе раздела отчета мы ограничиваемся обсуждением вопросов использования этого аппарата.
   Проверка согласованности и классификация экспертов
   Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться. Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) (основные результаты теории люсианов описаны в работах [32,53]) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
   При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать методами кластер-анализа, предварительно введя метрику в пространство мнений экспертов. Идея Кемени [37] об аксиоматическом введении метрик нашла в СССР многочисленных продолжателей [18,22,48]. Однако методы кластер-анализа обычно являются эвристическими, в частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один [56]. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу [32,53]. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.
   Нахождение итогового мнения комиссии экспертов
   Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Кемени, описанной в монографии [37], следует найти среднее мнение как решение оптимизационной задачи - минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. В [26] так найденное среднее мнение названо "медианой Кемени".
   Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в работах [22,40,54], в частности, показано, что в силу сформулированного и доказанного А.И.Орловым обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).
   В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом [21]. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики [37], связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты [21], в то время как применение метрики на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам, т.е. вычисляется элементарно [28].
   Интервальные экспертные оценки
   С начала 80-х годов активно развивается интервальная математика [57], как наиболее практически важная часть ее; - интервальная статистика (обзор дан, например, в [58]). В разрабатываемом нами подходе основное внимание уделяется расчетам максимально возможного отклонения значения рассматриваемой статистики, вызванного погрешностями в исходных данных (т.н. нотны), и "рационального объема выборки", превышение которого не может привести к существенному повышению точности оценивания. Основные идеи и результаты статистики интервальных данных опубликованы в статьях [59-63].
   Перспективным является использование интервальных экспертных оценок: эксперт называет не число, а интервал в качестве оценки рассматриваемого параметра. Такие процедуры удачно сочетают в себе количественный и качественный подходы в экспертных оценках. В качестве примера можно назвать процедуру регрессионного анализа, применяемую в экспертно-статистическом методе для получения коэффициентов весомости признаков, позволяющих наиболее точно восстановить глобальное заключение об объекте по результатам оценок отдельных параметров[36]. Теория регрессионного анализа интервальных данных развита в [63]. Интервальность необходимо учитывать, если результаты оценок параметров экспертами, как и глобальные оценки, задаются интервалами, а не числами. Интервальные экспертные оценки - новое перспективное направление в области экспертных оценок, которое только начинает развиваться.
   При использовании метода интервальных экспертных оценок вместо оценивания показателя или характеристики объекта числом эксперт указывает интервал, в котором он (или она) содержится. Во многих случаях оценивание интервалом более естественно для эксперта, чем оценивание числом. Например, капитану рыболовецкого сейнера естественнее указать квадрат морской поверхности (т.е. интервал по каждой координате), в котором вероятность хорошего улова, по его мнению, максимальна, чем указать точные координаты точки максимального улова. Интервальные экспертные оценки успешно использовались с целью увеличения улова сельди-иваси в Охотском море и атлантической сельди в Баренцевом море, соответствующая система поддержки принятия решений была разработана в Институте автоматики Дальневосточного отделения АН СССР.
   Другой пример связан с оцениванием качества продукции. Оценку показателя, да и глобальную оценку эксперту естественнее дать не в виде действительного числа, а в виде значения качественного признака - "отлично", "хорошо", "удовлетворительно" и т.д. При формализации каждый такой ответ целесообразно описывать интервалом. Например, оценка "отлично" описывается интервалом (0,8; 1,0), оценка "удовлетворительно" - интервалом (0,4; 0,6) и т.д. Этот подход можно сопоставить с использованием нечетких чисел в качестве ответов экспертов, поскольку интервалы - частные случаи нечетких множеств [22, 23].

   В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.
   Проведение экспертных исследований основано на использовании современных методов прикладной математической статистики, прежде всего статистики объектов нечисловой природы, и современной компьютерной техники. Наиболее продвинутые результаты в области экспертных оценок получены в СССР в 70-90-х годах в рамках комиссии "Экспертные оценки и нечисловая статистика" Научного Совета АН СССР по комплексной проблеме "Кибернетика". В области компьютерной техники наиболее перспективными представляются разработки на основе компьютеров Macintosh фирмы "Apple".
   Поэтому целесообразно рассмотреть предназначенный для поддержки проведения экспертных исследований АРМ "МАТЭК" ("Математика в экспертизе") на базе РС фирмы "Apple" с использованием современных достижений в области теории и практики экспертных оценок, в области прикладной математической статистики, прежде всего статистики объектов нечисловой природы.
   Разработано и применяется весьма большое число методов (и особенно их разновидностей) организации и проведения экспертных исследований. Для решения конкретной задачи можно использовать, как правило, не один, а много методов, и выбор наиболее подходящего из них лежит на организаторах экспертизы. (Попытки стандартизовать правила принятия подобных решений в настоящее время рассматриваются как нецелесообразные - таков один из результатов развития стандартизации в нашей стране в 70-90-е годы.) Разрабатываемый нашим коллективом АРМ "МАТЭК" предоставляет организаторам экспертизы большие возможности для выбора тех или иных методов планирования, организации, проведения экспертизы, анализа экспертных оценок, обеспечивает необходимую компьютерную поддержку в проведении экспертного исследования.
   АРМ "МАТЭК" предназначен для подготовки и проведения экспертизы по определенной теме. С помощью АРМ "МАТЭК" можно автоматизировать процесс подбора экспертов, работу комиссии экспертов и анализ экспертных мнений, а также подготовку опросных листов, бланков и всей отч¨тной документации.
   Работа на АРМ в соответствии с методологией настоящей главы отчета состоит из двух частей:
   А. Подготовка экспертизы.
   В. Проведение экспертизы.
   А. Этап подготовки экспертизы включает в себя ввод всей информации, необходимой для проведения экспертизы. Итогом этого этапа являются два документа: "ТЗ" и "Сценарий".
   Подробнее: на этом этапе ЛПР должен сформулировать цель экспертизы, сформировать руководство рабочей группы (РГ).
   Далее к работе приступает РГ. Е¨ руководитель должен ввести данные для формирования документа "ТЗ". Затем собираются данные для компоновки документа "Сценарий".
   РГ может включать в себя Руководителя, Группу обработки, Группу связи и Интервьюеров.
   Данные для документа "ТЗ" следующие: основание для проведения экспертизы, задачи экспертных опросов, сформулированные в соответствии с целью экспертизы, требования к ЭК, опросному листу, сроки выполнения экспертизы и порядок контроля за ними.
   В зависимости от того, введены или нет те или иные данные для "ТЗ", они соответственно будут или нет включены в документ "ТЗ". Последний можно просмотреть на экране и распечатать.
   Данные для документа "Сценарий" следующие: вводный текст (в этом тексте должна содержаться собственно последовательность действий при проведении экспертизы), календарный план (КП), список используемых методов анализа экспертных мнений (ЭМ). Как и при формировании "ТЗ", "Сценарий" может иметь разную структуру, в зависимости от того, какие пункты будут в него включены. Как приложение к "Сценарию" могут быть использованы примеры бланков опросных листов, анкеты "Согласие" (для выявления согласия экспертов участвовать в экспертизе), анкеты "Снежный ком", "Взаимооценка" (если соответствующие этапы включены в КП). Для этих бланков также требуется ввести оповещение (либо выбрать стандартное). Документ "Сценарий" можно просмотреть на экране и распечатать.
   При формировании "Сценария" будет сформирован опросный лист экспертизы. Опросный лист состоит из оповещения (стандартного или оригинального - по выбору РГ) и собственно вопросов. Вопросы группируются по задачам из ТЗ. При формулировке вопросов учитывается список методов обработки ответов. Точнее, пользователь, сформулировав вопрос, должен точно знать формат ответа. Для каждого формата ответа в АРМ предусмотрен список методов обработки ответов (краткое описание каждого из них можно будет просмотреть при выборе метода). Если пользователя не устраивает ни один из этих методов, он должен будет переформулировать вопрос (т. е. изменить формат ответа) так, чтобы в списке соответствующих методов оказался подходящий ему. Тем самым при формировании опросного листа будет одновременно сформулирован список используемых методов анализа экспертных мнений (ЭМ).
   В. Этап проведения экспертизы недоступен до тех пор, пока не будет завершен этап подготовки экспертизы. После того как подготовка создана, можно запустить или открыть проведение экспертизы. Тем самым возможно проведение нескольких экспертиз с одной и той же подготовкой (для каждой экспертизы выделяется собственная, идентифицируемая по названию экспертизы, база данных).
   На этапе проведения экспертизы формируется ЭК, проводится сбор и анализ ЭМ, формируется отчет и заключение для ЛПР.
   Формирование ЭК - многоступенчатый процесс. Сначала член РГ (руководитель) в соответствии с информацией об экспертах из БДЭ (базы данных об экспертах) может отобрать подходящих кандидатов в ЭК. Далее с помощью анкеты "Согласие" из этого списка отбираются согласившиеся быть членами ЭК. Два последних шага могут проводиться или нет, в зависимости от того, включены ли они в КП. Это этапы "Снежный ком" и "Взаимооценка". После того, как сформирован ЭК, можно проводить сбор ЭМ. Это осуществляется с помощью бланка вопросника. ЭМ будут храниться так, чтобы доступ к ним был удобен (то есть по любому эксперту и любому вопросу можно было получить ответ, и т.д.). Анализ ЭМ по каждому вопросу проводится методом, выбранным пользователем АРМ (руководителем РГ) на этапе подготовки экспертизы для этого вопроса.
   По всем предыдущим этапам формируются отчеты, из которых в результате получается общий отчет о проведении экспертизы. В соответствии с задачами из ТЗ формируется заключение для ЛПР.
   В соответствии с КП ведется контроль за сроками проведения экспертизы.
   Ведется протокол экспертизы, т. е. при выходе из системы фиксируется текущее состояние этапа проведения экспертизы, и при открытии данной экспертизы происходит возврат именно на тот этап экспертизы, на котором произошел выход из системы. ( На этапе подготовки экспертизы протокол не ведется.)
   Разграничены права доступа к БДЭ (база данных экспертов), ЭМ и результатам обработки ЭМ.
   Проблемы теории и практики экспертных исследований активно обсуждаются в настоящее время в связи с быстрым развитием сети аналитических центров и подразделений (см., например, монографии [64,65]). Работы нашего коллектива последних лет, связанные с развитием и применением методов экспертных оценок, отражены в публикациях [66-73].

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти:
   1. Полезные макросы для Microsoft Word 97/2000 для верстки в Word книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков.
   2. Макрос для Microsoft Word 97/2000 - Конвертор "Число-текст", обладающий возможностью автоматического обновления вставленных текстовых расшифровок при изменении значений исходных чисел.
   3. Учебник профессора А.И.Орлова по менеджменту.
   4. Статьи А.И.Орлова по актуальным вопросам статистики и экономики.
   5. Лекцию об устройстве ядерных реакторов.
   6. Информацию об Институте высоких статистических технологий, который занимается развитием, изучением и внедрением наиболее современных методов анализа технических, экономических, социологических, медицинских данных.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo (или imt). Password: test. Вход под этим логином абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под этим логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.
   Из книги Максима Калашникова "Битва за Небеса", представленной на сайте http://skywars.chat.ru, Вы узнаете о том, какими должны были стать воздушно-космические силы СССР 2000 года и прочтете о русской авиации 20 века. Вы познакомитесь с планом построения страны-сверхкорпорации, которой так боялись США, узнаете, как и кем планомерно уничтожалась советская цивилизация.
   Книга "Тайны и секреты компьютера", вышедшая в издательстве "Радио и связь", предназначена для тех, кто самостоятельно осваивает мир информационных технологий. Программирование в среде Microsoft Office, создание сайтов, устройство сети Интернет, структура системного реестра Windows и файловой системы, сеть Fidonet, строение жидкокристаллических дисплеев и проблема наличия различных кодировок русского языка, - про все это рассказывается в ней. Многообразие тем и легкий стиль изложения сделают ее вашим спутником на долгое время, и вы всегда сможете найти в ней нужную именно в данный момент информацию. Если Вы интересуетесь компьютерными технологиями, желали бы расширить свои знания и умения в этой области, то она Вам наверняка понравится. На сайте http://comptain.chat.ru, посвященном этой книге, вы можете ознакомиться с ее оглавлением и аннотацией, прочитать некоторые главы, купить в Интернет-магазине.