Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 193


Информационный Канал Subscribe.Ru

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

   В этом, 193-м выпуске рассылки "Эконометрика" от 4 октября 2004 года помещаем новую статью Орлова А.И. "Шесть сигм" - новая система внедрения математических методов исследования", предназначенную для журнала "Заводская лаборатория".

   Мы не раз высказывались по поводу т.н. "искусственного интеллекта". Кроме материалов рассылки, см.: Орлов А.И. "Миф ХХ века: искусственный интеллект". - Журнал "Подводная лодка", 2003. No.11. С.102-103.560, Орлов А.И. "Искусственный интеллект или мощный калькулятор?" - Журнал "Магия ПК". 2003. No.3(59). С.42-45.

   В нашем критическом анализе "искусственного интеллекта" подчеркивалось принципиальное отличие полученных в этой научно-практической области результатов от свойств человеческого интеллекта. Более того, обращалось внимание на то, как мало мы знаем о разуме человека, об его интеллекте.

   Естественно дать слово специалистам, посвятившим жизнь "искусственному интеллекту". Предлагаем Вашему вниманию обобщающую статью проф. Д.А. Поспелова "Десять "горячих точек" в исследованиях по искусственному интеллекту". Любопытно совпадение оценок сложившейся ситуации при рассмотрении ряда конкретных проблем в наших публикациях и в статье Д.А.Поспелова.

   Помещаем сводку Н.А. Шведовой "Женский статистический портрет России: крупный план (О некоторых демографических характеристиках)".

   Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*   *   *   *   *   *   *

"Шесть сигм" - новая система внедрения математических методов исследования

   В XXI веке основное внимание исследователей и управленцев переносится с разработки отдельных математических методов исследования на системы внедрения таких методов в практическую деятельность предприятий и организаций. В статье обсуждается новая система внедрения математических методов исследования "Шесть сигм".

   Как улучшить качество продукции и организацию производства? Как увеличить эффективность управления предприятием? Как повысить качество научных исследований? Как оптимизировать деятельность центральной заводской лаборатории? Все эти проблемы - вечные. Их решали и сто лет назад, и пятьдесят, решают и сейчас. Но по-разному.

   Последние десятилетия волна за волной накатывают на руководителей и специалистов все новые сочетания слов и стоящие за ними концепции: комплексные системы управления качеством продукции, АСУ, стандарты ИСО серии 9000, ИСУП, контроллинг... И в каждой волне есть что-то новое и что-то давно известное. Основное в очередной новации - иное направление взгляда на старые проблемы и методы.

   И вот появилось еще одно новое модное поветрие - система "Шесть сигм". Что стоит за этими словами, наводящими на мысли о статистических методах (греческой буквой "сигма" традиционно обозначают показатель разброса статистических данных)?

Основные идеи системы "Шесть сигм"

   Как сказано в недавно выпущенной книге [1], "Шесть сигм" - это более разумный способ управлять всей компанией или отдельным ее подразделением (например, литейным цехом или центральной заводской лабораторией). Фактически речь идет о развитии системы управления качеством и контроллинга на предприятии, в организации, фирме, компании. Концепция "Шесть сигм" ставит на первое место потребителя товаров и услуг и помогает, как утверждают ее разработчики, находить самые лучшие решения, опираясь на факты и данные. Она нацелена на три основные задачи:

   - повысить удовлетворенность клиентов;

   - сократить время цикла (производственного, операционного);

   - уменьшить число дефектов.

   Внедрение "Шести сигм" дает значительный экономический эффект. Исполнительный директор корпорации General Electric Джек Уэлч объявил в ежегодном докладе, что всего за три года система "Шесть сигм" сэкономила компании более 2 миллиардов долларов [1].

   Совершенно справедливо систему "Шесть сигм" рассматривают как "революционный метод управления качеством". Согласно "Шести сигмам" следует стремиться к достижению самого малого (из возможных) разброса контролируемого параметра по сравнению с полем допуска. Точнее, желательно добиться, чтобы ширина поля допуска была по крайней мере в 6 раз больше типового разброса "плюс-минус сигма". Отсюда и название - "Шесть сигм". Соотношение поля допуска с полем разброса (в "сигмах") связывают с числом дефектов (на миллион возможностей) и с выходом годной продукции (в %). Так, 6 "сигм" согласно [1] соответствуют 3,4 дефектов на 1000000 возможностей, или выходу годной продукции 99,99966%.

   А пока столь высокий уровень качества не достигнут, можно оценивать ситуацию в "сигмах". И промежуточная задача может формулироваться так: с уровня 2,5 "сигма" подняться до уровня 4 "сигма".

Инструменты системы "Шесть сигм"

   С помощью каких интеллектуальных инструментов достигается успех в системе "Шести сигм"? Перечислим их.

   Это инструменты генерации идей и структурирования информации - экспертные оценки (различные варианты сбора информации и голосования, мозговой штурм и др.), диаграммы (сродства, древовидные, "рыбий скелет" - схема Исикава), блок-схемы.

   Это инструменты сбора данных - разнообразные варианты выборочного метода, всевозможные методики измерений (наблюдений, анализов, опытов, испытаний). Сюда же относятся методы определения "голоса потребителя" (т.е. предпочтений потребителей), контрольные листки, а также инструменты систематизации данных - электронные таблицы и базы данных.

   Третья группа - инструменты анализа процессов и данных - анализ течения процесса, добавленной ценности, различные графики и диаграммы. В том числе диаграмма Парето, график временного ряда (тренда), диаграмма разброса (корреляционное поле). Затем - многочисленные инструменты статистического анализа (описание данных, оценивание и проверка статистических гипотез, методы корреляции и регрессии, классификации, снижения размерности, планирования экспериментов, анализа временных рядов, статистики нечисловых и интервальных данных и др.).

   Наконец, четвертая группа - инструменты реализации решений и управления процессами. Среди них - методы управления проектами (планирование, бюджетирование, составление графиков, оптимизация коммуникаций, управление коллективом, диаграммы Ганта и др.). А также анализ потенциальных проблем, изучение видов и последствий отказов, анализ заинтересованных сторон, диаграмма поля сил, документирование процесса, сбалансированная система показателей и "приборная" панель процесса.

   Таким образом, инструментарий системы "Шести сигм" весьма широк. Эти интеллектуальные инструменты помогают принимать правильные решения, решать проблемы и управлять переменами. Среди них, как следует из проведенного выше перечисления, основное место занимают различные математические методы исследования, прежде всего статистические и экспертные инструменты. Однако нельзя считать, что система "Шести сигм" и инструменты "Шести сигм" - это одно и то же.

В чем новизна системы "Шесть сигм"?

   Как справедливо подчеркнуто в цитированной книге о системе "Шести сигм", возможно, вы говорите себе: "Мы уже давно делаем кое-что из этого". И уж, безусловно, вы читали почти обо всем из названных выше инструментов, в том числе на страницах нашего журнала. Совершенно бесспорно, что многое в концепции "Шести сигм" не ново. Что действительно ново - так это соединение всех этих элементов системы и ее инструментов в согласованный процесс управления.

   Действительно, различные виды инструментов повышения эффективности управления организацией, ее подразделениями, отдельными направлениями деятельности известны давно. Чтобы их успешно использовать, нужна система внедрения. Необходима тщательно разработанная методика создания и функционирования творческих коллективов, занимающихся анализом ситуации, подбором и внедрением современных инструментов управления. Такая методика и создана в системе "Шесть сигм". В этом и состоит суть нового шага в науке и практике управления предприятием и его подразделениями.

Шесть основных элементов системы "Шесть сигм"

   Выделяют [1] шесть основных элементов, составляющих квинтэссенцию системы "Шесть сигм". Это

   - ориентация на потребителя;

   - управление на основе данных и фактов;

   - процессный подход (где действия, там и процессы);

   - проактивное управление (основанное на прогнозировании);

   а также два социально-психологических базисных положения:

   - безграничное сотрудничество;

   - стремление к совершенству без боязни поражений.

   Конечно, каждый из этих элементов сам по себе хорошо известен в теории и практике управления (менеджмента). Дело в системе "Шесть сигм", в которую они объединены. В частности, в этой системе подробно расписаны роли различных участников команды - "черные пояса", "зеленые пояса", "мастера черных поясов", "чемпионы". В самих названиях ролей подчеркнута роль команды проекта по внедрению системы "Шесть сигм", соревнования между подразделениями и специалистами, энтузиазма в работе (аналогичного спортивному азарту), продвижения на основе освоенных знаний и полученных результатов (в спорте - переход от пояса к поясу). Весьма важна основополагающая роль членов высшего руководства компании, лично занимающихся развитием системы "Шесть сигм".

   Анализ системы "Шесть сигм" показывает, что, несмотря не некоторое своеобразие терминов, связанное с корнями этой системы (лежащими в проблемах управления качеством), фактически "Шесть сигм" - это глубоко проработанная система внедрения современных подходов к управлению предприятием и его подразделениями, прежде всего контроллинга, на основе широкого и продвинутого использования математических методов исследования. Отметим большое место, которое занимают математические методы исследования, прежде всего статистические и экспертные методы, среди ее инструментов. Система "Шесть сигм" трудоемка, на внедрение нужны годы. Но и эффект велик.

Проблемы внедрения математических методов исследования

   Полезно проанализировать изменение представлений о проблемах внедрения современных научных достижений в отечественную практику. В качестве примера для обсуждения рассмотрим теорию и методы планирования эксперимента, об истории которых в нашей стране рассказано в [2]. Как известно, локомотивом работ по планированию эксперимента в нашей стране являлся "незримый коллектив" под руководством В.В. Налимова, основные научные идеи и результаты их практического внедрения рассматривались на страницах нашего журнала.

   Очевидно, совершенно необходимый первый этап - разработка самой научной теории до той стадии, когда предлагаемые рекомендации уже можно использовать на практике. Основной результат этого этапа - методические разработки и образцы внедрения. Для планирования эксперимента первый этап в основном завершился к началу 1970-х годов.

   Термин "завершился" требует уточнения. Научные исследования, разумеется, продолжались после 1970 г. Они продолжаются сейчас, и будут продолжаться в дальнейшем, поскольку любая научная область может - при наличии энтузиастов - развиваться до бесконечности. Речь о другом - к началу 1970-х годов была создана методическая база для массового внедрения.

   Следующий этап - пропаганда возможностей методов планирования эксперимента, преподавание и подготовка кадров. В статье [2] рассказано о многочисленных акциях 1960-70-х годов в этом направлении. Казалось, что дальше всё пойдет самотеком. Но не получилось. Широкого потока внедренческих работ не последовало. Блестящие работы не стали образцами для подражания.

   И не только для планирования эксперимента. Примерно так же развивалась ситуация с внедрением экономико-математических методов. Хотя были и некоторые незначительные отличия. Удалось организовать Центральный экономико-математический институт РАН, а вот академического института по планированию эксперимента нет до сих пор. И Межфакультетская лаборатория статистических методов МГУ им. М.В.Ломоносова, которая занималась развитием теории и внедрением методов планирования эксперимента, расформирована в середине 1970-х годов. Были и другие примеры того, что организационные успехи по тем или иным причинам не удавалось закрепить [2].

   Стало ясно, что создания методов и их пропаганды недостаточно. Выявилась необходимость перехода к третьему этапу - этапу разработки организационных форм, обеспечивающих широкое внедрение. Наиболее ярким проявлением этого этапа было учреждение в 1990 г. Всесоюзной статистической ассоциации (ВСА), объединяющей - прежде всего в секции статистических методов - специалистов по математическим методам исследования [3]. В статье [4] тех лет, посвященной проблемам внедрения прикладной статистики и других статистических методов, была развернута программа создания сети научно-исследовательских и внедренческих институтов по этой тематике, аналогичной сети метрологических организаций. К сожалению, все эти глобальные планы организации внедрения рассматриваемых методов в государственном масштабе остались нереализованными из-за развала СССР и развертывания экономических "реформ" 1990-х годов, приведших к сокращению (в разы!) объемов научных исследований и численности работников в сфере науки и научного обслуживания.

   Сейчас мы находимся на четвертом этапе. Надо разрабатывать и широко использовать новые организационные формы внедрения математических методов исследования на отдельных предприятиях. С похожими проблемами сталкиваются разработчики крупных информационных систем управления предприятиями (типа SAP R/3, Oracle, JD Edwards, Baan), занимающиеся их внедрением в конкретных организациях [5]. В частности, необходимо создание соответствующей службы под непосредственным началом одного из высших руководителей организации. Недаром внедрение контроллинга - современных методов управления предприятиями - обычно начинается именно с создания службы контроллинга и прорабатывания ее взаимодействия со всеми остальными структурами предприятия [6].

   Система "Шесть сигм" ценна, прежде всего, своей организационной составляющей. Той, которой не уделяли внимания на ранних этапах истории внедрения современных математических методов исследования. Система "Шесть сигм" дает алгоритмы практической деятельности по организации внедрения. Чем она и интересна для отечественных специалистов.

А.И.Орлов
(Институт высоких статистических технологий и эконометрики Московского государственного технического университета им. Н.Э.Баумана, Москва, Россия)

Литература

   1. Панде П., Холп Л. Что такое "Шесть сигм"? Революционный метод управления качеством / Пер. с англ. - М.: Альпина Бизнес Букс, 2004. - 158 с.

   2. Маркова Е.В., Никитина Е.П. / Заводская лаборатория. 2002. Т.68. No.1. С.112-118.

   3. Орлов А.И. / Вестник Академии наук СССР. 1991. No.7. С.152-153.

   4. Орлов А.И. / Заводская лаборатория. 1992. Т.58. No.1. С.67-74.

   5. Орлов А.И., Гуськова Е.А. / Контроллинг. 2003. № 1(5). С.52-59. 6. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. - М.: Финансы и статистика, 1998. - 256 с.

*   *   *   *   *   *   *

Десять "горячих точек" в исследованиях по искусственному интеллекту

   Как самостоятельное научное направление искусственный интеллект (ИИ) существует чуть более четверти века. За это время отношение общества к специалистам, занимающимся подобными исследованиями, претерпело эволюцию от скепсиса к уважению. В передовых странах работы в области интеллектуальных систем поддерживаются на всех уровнях общества. Бытует устойчивое мнение, что именно эти исследования будут определять характер того информационного общества, которое уже приходит на смену индустриальной цивилизации, достигшей своей высшей точки расцвета в XX-м веке.

   За прошедшие годы становления ИИ как особой научной дисциплины сформировались ее концептуальные модели, накопились специфические, принадлежащие только ей методы и приемы, устоялись некоторые фундаментальные парадигмы. Искусственный интеллект стал вполне респектабельной наукой, ничуть не менее почетной и нужной, чем физика или биология.

   У специалистов старшего поколения, стоявших у колыбели зарождения новой сферы исследований, складывается убеждение, что период бурного развития кончился и теперь наступает эра вполне академических, спокойных и целенаправленных исследований, рассчитанных на длительный период.

   Поэтому было бы весьма любопытно попытаться увидеть те основные направления исследований в ИИ, те "горячие точки", в которых будут сосредоточены основные усилия специалистов в конце уходящего века и начале нового тысячелетия. Анализ состояний текущих исследований позволяет выдвинуть предположение о наличии десяти таких ''горячих точек. Именно они и будут ниже вынесены на обсуждение.

1. Переход к аргументации

   В начальный период развития ИИ идея применения механизмов логического вывода в аксиоматических (или квазиаксиоматических, использующих в качестве аксиом определенные законы данной предметной области) системах занимала доминирующие положение. Предполагалось, что все или почти все задачи, претендующие на интеллектуальность, можно решать путем построения некоторого вывода. Такая парадигма породила многочисленные работы в области автоматического доказательства теорем, разработки языков представления знаний логического типа, в частности, хорошо известного языка Пролог. Значительные усилия были затрачены на создание методов вывода в исчислении предикатов, которое различным образом модифицировалось, чтобы адаптировать его для нужд искусственного интеллекта.

   Классический подход в ИИ, реализующийся под явным давлением логических моделей в представлении знаний, породил экспертные системы, основанные на продукционных правилах, теорию реляционных баз данных, теорию решателей и планировщиков. Несомненным преимуществом, связанным с увлечением логическим выводом, было привлечение в сферу исследований области ИИ логиков, принесших в эту молодую науку свои представления о строгости и точности постановок задач и формулировок результатов.

   Но уже к середине 70-х годов постепенно выясняется, что классических логических моделей и схем вывода явно не хватает для того, чтобы строить достаточно богатые и практически значимые интеллектуальные системы. Искусственный интеллект явно вырос из "логических штанишек". Принципы, опирающиеся на классическое понимание формальной системы дедуктивного вывода, стали слишком узкими для решения задач ИИ. Возникло нечто вроде кризиса в физике, ярко проявившегося в начале XX-го века. В чем же состояла основная проблема?

   Логический подход в его классической форме требовал для каждой предметной области, для которой применялись методы ИИ, наличия полного перечня исходных положений, которые можно было бы считать аксиомами этой предметной области. Их существование (сюда естественно включаются и априорно задаваемые правила вывода) обеспечивало замкнутость используемых моделей, позволяло ставить и решать круг проблем, связанных с полнотой, результативностью и непротиворечивостью используемых моделей и процедур.

   Однако различные приложения, к которым стремился искусственный интеллект, оправдывая свою практическую значимость, в подавляющем большинстве случаев не давали возможностей построения аксиоматических систем. Знания о предметных областях, как правило, были неполными, неточными и лишь правдоподобными, что приводило к эффектам немонотонности процессов получения результатов, возникновению фальсификаторов ранее полученных утверждений, быстрому снижению достоверности утверждений, получаемых в результате последовательного (даже при так называемых параллельных модификациях) процесса логического вывода.

   Так возникла проблема замены формальной системы с присущими ей процедурами дедуктивного вывода иной, столь же мощной моделью, где отражались бы основные особенности поиска решения в плохо определенных предметных областях, которые описываются как открытые системы с обновляемыми знаниями об их строении и функционировании.

   С конца 70-х годов XX-го века старая парадигма, опирающаяся на идею строгого логического вывода, начинает постепенно сменяться новой парадигмой, провозглашающей, что основной операцией при поиске решения должна быть правдоподобная аргументация. Работа с аргументами "за" и ''против", снабженных соответствующими весами, приводит к аддитивным процедурам с этими весами (в противовес мультипликативным процедурам вычисления обобщенных весов при правдоподобном выводе). Это обстоятельство оказалось решающим для перехода к аргументации в интеллектуальных системах.

   Однако, в отличие от завершенной структуры логического вывода, до сих пор не существует столь же стройной, научно разработанной теории правдоподобной аргументации. Эффекты, связанные с появлением парадоксов при немонотонных рассуждениях, показывают, что переход к более богатой по сравнению с моделью логического вывода модели правдоподобной аргументации неизбежно приводит к большому количеству новых проблем, связанных с обоснованием подобной модели и изучением ее особенностей. Предполагается, что в ближайшие десятилетия усилия многих специалистов сосредоточатся именно в этой области исследований.

2. Проблема оправдания

   При заполнении памяти интеллектуальных систем знаниями, полученными от экспертов, хорошо знающих данную предметную область и способы решения возникающих в ней задач, инженеры по знаниям столкнулись с одной весьма любопытной особенностью. При объединении баз знаний, сформированных различными экспертами, каждая из которых в отдельности довольно успешно решала тестовые задачи, возникала противоречивая база знаний. Если это были базы, в которых знания фиксировались в виде продукционных правил, то возникали правила с одинаковыми левыми частями и противоречащими друг другу правыми частями, а если в качестве модели представления знаний использовались фреймы, то отмечалось несовпадение фреймов-прототипов или возникали конкурирующие значения в слотах.

   Как скоро стало очевидным, явление это объяснилось тем, что эксперты погружали свои профессиональные знания в некоторые концептуальные модели предметных областей, которые могли не совпадать у разных экспертов. Если, например, речь шла об извлечении знаний из области онкологических заболеваний, то в качестве таких различных моделей могли выступать вирусная или генетическая модель порождения злокачественных опухолей. Если же речь шла о добыче нефти и поиске наиболее перспективных мест для ее разведки, то альтернативными концептуальными моделями оказывались модели органического и неорганического происхождения нефти. Приверженцы той или иной концептуальной модели сознательно (а иногда подсознательно) отбирали только те знания, которые согласовывались с принятой концептуальной моделью, отвергая те знания, которые ей противоречили (или, преуменьшая их вес правдоподобия). Другими словами, использовался своеобразный механизм "психологической защиты" от знаний, разрушающих принятую концептуальную модель, которая оправдывалась принятой системой знаний.

   Ясно, что механизмы оправдания, связанные с искажением весов правдоподобия, накопленных в данной предметной области знаний (включая и отторжение некоторых знаний), нужно изучать и учитывать при заполнении баз знаний и их объединении. Но как это делать? Вопрос остается открытым и сейчас. В ближайшее десятилетие на него надо найти конструктивный ответ, иначе интеллектуальные системы в своем развитии не сделают следующего важного шага.

3. Порождение объяснений

   Различие в механизмах поиска решений у человека, специалиста по решению определенного класса задач и у интеллектуальной системы приводит к появлению эффекта непонимания. Видя окончательный результат деятельности интеллектуальной системы, специалист не может оценить степень его достоверности (даже если система одновременно с решением выдает вычисленную ею такую оценку). Процесс "верить - не верить" не может привести к какому-либо разумному результату, если нет какой-то дополнительной информации. Эта информация, начиная с первого поколения экспертных систем, выдается специалисту по его требованию в виде объяснения.

   Объяснение (более точно было бы говорить об обосновании, но термин "объяснение'' прочно прижился в искусственном интеллекте) может быть различным. Наиболее распространены как-объяснения и почему-объяснения. При как-объяснении система выдает пользователю информацию о процедуре получения решения, например, выдает ему всю трассу движения по дереву вывода. При почему-объяснении система включает в текст объяснения те основания, которые были использованы ею в процессе поиска решения. Другие типы объяснений (что-объяснения, зачем-объяснения и т.п.) пока в интеллектуальных системах практически не используются.

   Проблема объяснения связана с решением задачи о том, как его построить. В начальный период развития экспертных систем объяснение порождалось жесткими процедурами, связанными с наличием априорно заданного сценария объяснения, заполняемого конкретными сведениями в процессе поиска решения. Такой подход в какой-то мере годится для как-объяснений и несколько хуже подходит для почему-объяснений. Но он совершенно непригоден при необходимости порождения объяснений иных типов.

   Ясно, что проблема генерации объяснений связана с наличием в памяти интеллектуальной системы концептуальных моделей предметных областей и энциклопедических знаний об особенностях этих областей. Для порождения объяснений нужны базы знаний энциклопедического типа.

   Энциклопедические базы знаний отличны по своей структуре и назначению от проблемно-ориентированных баз знаний, применяемых в современных экспертных и других интеллектуальных системах. Организация знаний в энциклопедических базах, механизмы порождения текстов по запросам к ним требуют решения ряда проблем, относящихся к форме представления знаний в таких базах и принципам построения системы отношений на хранимых в них знаниях.

   С середины 80-х годов начали выполняться первые проекты, связанные с созданием энциклопедических баз знаний и развитием их теории. Без накопления новых результатов в этом направлении процесс совершенствования интеллектуальных систем и снятия барьера непонимания между ними и пользователями-людьми будет вряд ли возможным.

4. Поиск релевантных знаний

   Базы знаний в интеллектуальных системах используются в самых различных процедурах, связанных с вводом знаний, преобразованием и использованием их для поиска решений. Все эти процедуры требуют наличия механизмов, которые позволяли бы по тексту запроса к базе знаний найти в базе именно те знания, которые понадобятся для получения ответа.

   В отличие от баз данных, для которых механизмы поиска ответов на запросы достаточно хорошо изучены (хотя и тут еще имеется немало нерешенных задач, являющихся для специалистов "твердыми орешками"), соответствующие проблемы для баз знаний пока еще далеки от каких-либо эффективных решений. Известно, что основным механизмом реализации процедур поиска в базах знаний служит поиск по образцу, являющийся своеобразным видом ассоциативного поиска.

   Процедуры поиска по образцу имеют высокую сложность с экспоненциальной оценкой. Но с этим приходится мириться, так как пока не найдено какой-либо иной универсальной процедуры, позволяющей отыскивать нужные знания. Но основной проблемой остается поиск ответа на вопрос: "Как сформировать образец по тексту поступившего запроса?".

   Сложность этой проблемы можно проиллюстрировать на следующем (весьма простом) примере. Пусть в систему введен текст: "Петя залез на стул, открыл дверцу заветного шкафа, достал конфеты и быстро, торопясь, съел несколько штук... Вечером мать, доставая конфеты для чая, посмотрела на Петю и сказала: "Странно. Конфет стало меньше". Петя густо покраснел".

   Предположим, что интеллектуальная система должна ответить на вопрос: "Почему Петя покраснел?" На основании какой информации она сможет это сделать? Как мы сами отвечаем на подобные вопросы?

   Проблема поиска релевантной некоторому тексту информации пока остается нерешенной. В этой области пока больше вопросов, чем ответов. В ближайшие годы новые поколения ученых должны внести в решение этой проблемы свою лепту. Возможно, что появление энциклопедических баз знаний облегчит эту задачу.

5. Понимание текстов

   Что значит понять текст? Ответ на этот вопрос, приемлемый в равной степени для лингвиста, психолога или философа, отсутствует. Феномен понимания во многом еще остается загадочным. В интеллектуальных системах имеется способ уточнить интерпретацию этого термина. Можно, например, считать, что система понимает введенный в нее текст, если с точки зрения некоторого человека (или группы экспертов) она правильно отвечает на все вопросы, связанные с информацией, отраженной в тексте.

   Такая интерпретация связана с классификацией типов вопросов, которые, в свою очередь, определяют уровни понимания текста. На первом уровне все вопросы прямо связаны с предложенным текстом и ответы на них в явном виде содержатся в этом тексте. Если использовать вышеприведенный текст про Петю, съевшего конфеты, который был приведен выше, то вопросами первого уровня могли бы быть, например, следующие: "Куда залез Петя? или "Что сказала мать?". Вопросы второго уровня требуют специального логически получаемого расширения текста. Ибо ответы на них в явном виде в тексте отсутствует. Пример такого вопроса: "Почему конфет стало меньше?". Ответ на такой вопрос опирается на некоторую схему рассуждения. Третий уровень понимания связан с расширением текста за счет привлечения релевантных знаний. Пример такого вопроса был приведен при обсуждении соответствующей проблемы. Но возможны и более высокие уровни понимания. Например, уровни, связанные с тем, что текст понимается не буквально, а метафорически. Особым случаем понимания текста является вычленение из него прагматической составляющей, некоторого руководства к действию. Такая интерпретация процесса понимания тесно связана с задачей планирования поведения на основе текстового описания условий и целей.

6. Синтез текстов

   С проблемами поиска релевантного знания и понимания текстов весьма тесно соприкасается еще одна проблема, привлекающая сейчас внимание специалистов, работающих в ИИ. Она связана с разгадкой механизмов, лежащих в основе процедур порождения текстов на заданную тему. Без ответов на возникающие тут вопросы нельзя организовать полноценный обмен информацией между людьми и системами искусственного интеллекта. Ибо механизм генерации целенаправленного текста вместе с механизмом анализа и понимания текстов образует основу процесса коммуникации - главного процесса в организации человеческого поведения и реализации всех видов его деятельности.

   Как и процесс понимания, процесс синтеза текстов имеет многоуровневую структуру. После зарождения мотивов его генерации и осознания целей, которые предполагается достигнуть в акте общения, наступает этап порождения когнитивной структуры текста. Этот этап реализуется на уровне внутренних представлений системы о мире, хранящихся в базе знаний. Знания, релевантные целям, которые направляют процесс "строительства" текста, отбираются некоторым планировщиком на знаниях и собираются во внутреннюю структуру текста. После этого на уровне лингвистической компоновки текста другой планировщик превращает эту структуру в линейный текст на естественном языке. Этот текст еще лишен того, что в психолингвистике называют читабельностью. Он еще слишком связан с машинными представлениями. Куски плохо пригнаны друг к другу, отсутствует гладкость переходов и ясность изложения целей. Эти недостатки "глубинного текста" исправляются на третьем уровне генерации, который реализуется стилистическим планировщиком.

   Описанная процедура генерации ставит перед ее создателями ряд проблем, не решенных к настоящему времени. Например, неясно, какие принципы лежат в основе построения когнитивных структур текстов. В пользу того, что такие принципы существуют, убедительно свидетельствуют, например, эксперименты по генерации текстов волшебных сказок или музыкальных произведений (также текстов, но использующих специальный язык для общения с пользователями). В первом случае когнитивная структура определяется набором глубинных функций В.Я. Проппа, задающих достаточно жесткий сценарий будущего текста. Во втором случае имеется конечная система правил, делающих процедуру композиции в нужной мере формальной.

   Но остаются, по крайней мере, две важные проблемы, решение которых пока не найдено: а) как цели связаны с когнитивной структурой и б) как описываются когнитивные структуры тех типов текстов, которые нужны, например, в процессе естественно-языкового диалога. Большое внимание к проблемам теории речевых актов (нового направления в лингвистике) со стороны специалистов по ИИ подогревается надеждами найти здесь ответы на поставленные вопросы.

   Неменьшей проблемой является переход от нелинейной структуры текста к ее линейному представлению. Этот переход тесно связан с исследованиями по гипертекстам. Определенный бум, возникший в этой области, как раз и связан с осознанием того факта, что линейный по форме текст, как правило, является внешним кодом нелинейной структуры, на которую он "натянут". Гипертекстовые технологии призваны не только обеспечить возможность работы с нелинейным представлением текстов, но и должны как-то решать задачи его линеаризации и перехода от линейного представления к гипертекстовому.

   Этот комплекс взаимосвязанных задач сейчас настолько активно изучается, что есть немалые основания считать, что в ближайшие годы проблемы синтеза текстов найдут свое разрешение.

7. Когнитивная графика

   Исторически сложилось так, что системы технического зрения и машинной графики всегда находились где-то на окраине области ИИ. Как и модели распознавания образов, методы, используемые для решения возникающих здесь задач, по своей сути были мало чем похожи на те, которые традиционно использовали специалисты по искусственному интеллекту. Для классических "систем, основанных на знаниях", как часто называются экспертные и другие интеллектуальные системы, уровень сенсорных и перцептивных процессов, играющих фундаментальную роль при зрительном восприятии или восприятии речи, оказался слишком "мелким". В их базах знаний был реализован куда более "крупный" уровень ментальных представлений. И пока специалисты по использованию зрительной и акустической информации в интеллектуальных системах занимались "нижними" уровнями восприятия и генерации, остальные специалисты, работающие в области ИИ, не находили с ними общего языка.

   Настоящее общение между ними началось в 80-е годы, когда стали появляться первые исследования в области ментальной интерпретации перцептивных образов (анализ трехмерных сцен) и в области анимации зрительных картин, связанных с ментальными представлениями. Установление связи между текстами, описывающими сцены, и соответствующими изображениями потребовало наличия в базах знаний специальных представлений для зрительных образов и процедур соотнесения их с традиционными формами представления знаний.

   Графическая информация стала трактоваться с позиций знаний, содержащихся в ней. Если до этого ее функция сводилась к иллюстрации тех или иных знаний и решений, то теперь она стала включаться равноправным образом в те когнитивные процессы, которые моделируются в базах знаний и на основе их содержимого. Термин "когнитивная графика" отражает этот принципиальный переход от иллюстрирующих изображений к видеообразам, способствующим решению задач и активно используемых для этого.

   Когнитивная функция изображений использовалась в науке и до появления компьютеров. Образные представления, связанные с понятиями граф, дерево, сеть и т.п. помогли доказать немало новых теорем, круги Эйлера позволили визуализировать абстрактное отношение силлогистики Аристотеля, диаграммы Венна сделали наглядными процедуры анализа функций алгебры логики.

   Систематическое использование когнитивной графики в компьютерах в составе человеко-машинных систем сулит многое. Даже весьма робкие попытки в этом направлении, известные как мультимедиа-технологии, привлекающие сейчас пристальное внимание специалистов (особенно тех, кто занят созданием интеллектуальных обучающих систем), показывает перспективность подобных исследований.

   Пока же область компьютеризации правополушарных функций мозга человека остается почти терра инкогнито. Здесь начаты лишь первые большие проекты, направленные на создание систем, опирающихся на когнитивную графику. На наш взгляд, в ближайшие годы следует ожидать качественного прорыва в этой области ИИ.

8. Многоагентные системы

   Тема с таким названием возникла на конференциях, посвященных проблемам ИИ, где-то в первой половине 80-х годов. Причин для появления такой проблематики было несколько. Прежде всего, стало ясно, что эффективная реализация ряда важных для интеллектуальных систем процедур требует параллельной и асинхронной их организации. Подобные процессы интегрируют в себе активности отдельных центров, решающих свои локальные задачи. Но эти локальные задачи и пути их решения должны быть согласованы в границах некоторых глобальных целей.

   Примерами процедур такого рода могут быть процедуры согласования мнений различных экспертов по поиску решения сложной многоцелевой задачи, согласование локальных локомоций при синтезе интегрального движения (например, движение робота, снабженного зрением и манипуляторами) или процедура коллективного взаимодействия интеллектуальных систем при решении в автономном режиме некоторой общей задачи.

   Появление специальных архитектур, призванных поддерживать такую организацию процессов (например, параллельные вычислительные системы, в которых используется принцип "доски объявлений"), еще более усилило интерес к многоагентным моделям. Наконец, уверенность в том, что в нервных тканях живых организмов реализуется асинхронный и параллельный режим поиска решения, также оказала свое влияние на исследования в области многоагентных систем.

   Нужно отметить, что идеология моделей такого рода во многом опирается на методы и результаты, полученные ранее вне сферы интересов собственно искусственного интеллекта. Еще в конце 50-х годов появились первые работы в области клеточных автоматов и моделей коллективного поведения автоматов. Эти работы заложили основу для появления многоагентных систем. Новое, что внесли в эти исследования специалисты по интеллектуальным системам, - это повышение "уровня интеллекта" агентов. Они стали способны использовать свои локальные знания для достижения своих целей. И задачи согласования, организации их целесообразного взаимодействия трансформировались на верхнем уровне в задачи согласования целей и знаний, т.е. стали напрямую соотноситься с проблематикой искусственного интеллекта.

   Возникающие тут проблемы тесно связаны с проблемами динамических баз знаний, с необходимостью оценки конфликтных целей, противоречий в знаниях. Они также предполагают использование упоминавшихся выше процедур оправдания в системах имеющихся знаний и концептуальных моделей.

   Сторонники этого нового системного движения надеются, что в начале следующего века будет создано новое научное направление - теория асинхронных конфликтующих процессов или что-то подобное с другим названием, которое еще не появилось.

9. Сетевые модели

   Интеллектуальные системы, основанные на правилах (продукциях), принесли не только радость решения ряда важных задач, но и породили сомнения в том, что именно они призваны остаться основными моделями представления знаний в интеллектуальных системах. Многочисленные дискуссии 80-х годов, проводившиеся специалистами в области ИИ по этому поводу, привели к укреплению сетевой парадигмы, несколько отодвинутой в сторону триумфальным выходом на сцену продукционных моделей. И хотя исследования в области семантических сетей, каузальных сетей и сетей другого типа продолжались, они были малочисленными и не слишком продуктивными.

   Но к концу 80-х годов сетевые модели стали развиваться более быстрыми темпами. Этот процесс совпал с пробуждением интереса к давно забытым нейронным архитектурам, появлением транспьютерных систем и нейрокомпьютеров, а также с возвращением к работам, опирающимся на эволюционные модели и эволюционное программирование. Возник определенный бум, который был даже окрещен неодарвинизмом.

   Если к концу первого этапа развития сетевых моделей (в основном в виде нейронных многослойных систем типа персептронов) наступило разочарование в их возможностях и простоте их аппаратной реализации, то в 80-х годах эти сомнения были отброшены. Комплекс исследований в этой области так возрос, что произошло практическое отпочкование специалистов, работающих в области сетевых моделей, от основного ядра тех, кто причисляет себя к искусственному интеллекту. У "сетевиков" появились свои журналы, они стали проводить свои симпозиумы и конференции и формировать свою терминологию. Этот разрыв нарастает, что, по-видимому, приведет к возникновению двух наук, связанных с построением интеллектуальных систем. Одна из них будет по-прежнему опираться на уровень ментальных (информационных) представлений, а другая - на уровень структурной организации (по типу нервных тканей), порождающей нужные решения. Во всяком случае, в 90-е годы вряд ли можно ожидать спад интереса к сетевым моделям и многочисленным нерешенным проблемам, связанным с их построением и функционированием.

10. Метазнания

   Метазнания или знания о знаниях - непременный атрибут познавательных процессов. В искусственных системах они в том или ином виде присутствовали всегда (например, в виде схем баз данных в базах данных или в виде стратегий управления в продукционных системах).

   Но только с полным осознанием глобальной цели искусственного интеллекта, которую можно сформулировать, как создание метасистемы, способной порождать все необходимые конкретные программы деятельности, стало ясно, что уровень метазнаний сам по себе представляет немалый интерес для изучения. Метазнания тесно связаны с теми основными для человека процедурами, которые позволяют ему учиться новым видам деятельности. Именно поэтому интерес к метазнаниям тесно связан с глубоким вниманием к процессу обучения, которое характерно для начала 90-х годов.

   Интеллектуальные обучающие системы, использующие метазнания для организации учебного процесса, ориентированного на конкретного обучаемого, стали первым объектом, в котором метазнания "овеществились", приобрели все необходимые качества для конкретного изучения. В 90-х годах мы, наверняка, станем свидетелями первых впечатляющих результатов в этой области.

   

   Заканчивая эту статью, хочу подчеркнуть, что выбор описанных тут десяти "горячих точек" исследований в области искусственного интеллекта, конечно, субъективен. Другие специалисты могли бы назвать и другие важные направления в развитии интеллектуальных систем. Но я тешу себя надеждой, что пересечение их с упомянутыми в статье направлениями было бы значительным.

Д.А.Поспелов
Опубликовано в: Интеллектуальные системы (МГУ). - 1996. - Т.1, вып.1-4. - C.47-56.

*   *   *   *   *   *   *

Наши перепечатки

Женский статистический портрет России: крупный план

(О некоторых демографических характеристиках)

   Знаете ли Вы:

   - что на начало 2000 г. численность постоянного населения РФ насчитывала 145,6 млн. чел. Это на 0,5% меньше, чем в 1999 г.; женщины составляют 53% населения;

   - что среди населения трудоспособного возраста мужчины составляют большинство - 51%, а женщин - 49%, а преимущественное большинство женщин в группе старше трудоспособного возраста - женщин больше на 19%;

   - что, если мужчин в возрасте 35-40 лет в стране на 300 тыс. меньше, чем женщин, то число мужчин в возрастной группе от 13 до 35 лет на 660 тыс. больше, чем женщин;

   - что уровень смертности в России остается одним из самых высоких в Европе - 14,7 умерших на 1000 населения. Продолжительность жизни мужчин (в 1999 г. - 59,8) в России на 10-15 лет, а женщин (в 1999 г. - 72,2 года) - на 6-9 лет меньше, чем в западноевропейских странах, США, Канаде, Австралии и Японии;

   - что высокий уровень разводов в России на протяжении нескольких десятилетий достиг в 1999 г высокого показателя - на 1000 заключенных браков пришлось 585 расторгнутых (правда, в 1998 он был несколько выше - 591);

   - что суммарный коэффициент рождаемости в 1999 г. не превысил 1,17 рождений на 1 женщину (в 1997 - 1,23, в 1998 - 1,24) против 2,15 необходимых для простого численного замещения поколений родителей их детьми;

   - что в России на 10 беременностей приходится 7 абортов, это в 6 раз больше, чем в США;

   - что в 1999 г. вне зарегистрированного брака родилось 339,3 тыс. детей или почти 28% от общего числа родившихся (в 1995 - 25,3%);

   - что на 1 января 2000 года в России зарегистрировано 42 млн. семей, при этом каждая вторая находится за чертой бедности;

   - что из 42 млн. семей одна треть - однодетные, примерно в 12%. семей - лишь один родитель. Притом в 98 случаях из них детей воспитывает только женщина. На долю многодетных семей приходится 4 процента;

   - что основную долю неполных семей с детьми до 18 лет составляют семьи разведенных женщин;

   - что в России 24 млн. семей, имеющих несовершеннолетних детей, 22 млн. из них имеют доходы ниже прожиточного минимума;
· что 620 тысяч детей в России - сироты. При этом только 10 процентов из них - сироты по объективным причинам (родители умерли, погибли), остальные 90 процентов - брошены собственными родителями; свыше 40 тысяч родителей лишены родительских прав;

   - что в России низкая рождаемость, которая снизилась на 20% в самом активном репродуктивном периоде с 25 до 29 лет;

   - что по опросу женщин в возрасте 23-25 лет - две трети из них вовсе не хотят иметь детей, считают, что без детей прожить легче

   Знаете ли Вы следующие факты о работе женщин и оплате их труда:

   - что за период 1993-1997 г.г. снижалась экономическая активность населения в трудоспособном возрасте на один процентный пункт. При этом экономическая активность женщин снижалась в большей мере, чем мужчин: если в марте 1996 г. экономическая активность женщин в трудоспособном возрасте составляла 74,3%, то в октябре 1997 г. - 72,5%, а у мужчин 80%;

   - что доля женщин в составе рабочей силы снизилась с 48% в 1995 г. до 47% в 1998 г. При этом темпы роста женской занятости были отстающими, а темпы снижения - опережающими;

   - что уровень минимальной оплаты труда в России за месяц соответствует уровню минимальной оплаты труда в США за один час;

   - что зарплата женщин меньше во всех отраслях, даже в традиционно женских, где преобладает женский труд, Превышение средней зарплаты мужчин над средней зарплатой женщин в целом по экономике равен 30% ;

   - что рост заработной платы работников бюджетной сферы в 2001 году составит всего лишь 20%, минимальные пенсии останутся на уровне половины, минимальная зарплата составит только 16,8% от прожиточного минимума, но зато уровень инфляции за 2000-2001 г.г. возрастет на 34%;

   - что в женской занятости с началом экономических реформ наблюдаются следующие изменения:

   снижение уровня трудовой активности женщин трудоспособного возраста;

   тенденция к увеличению отраслевой гендерной сегрегации;

   тенденция к увеличению разрыва в заработках между мужчинами и женщинами;

   увеличение склонности к дискриминации при найме женщин в частном секторе экономики;

   - что идет процесс вытеснения женщин из таких "женских" отраслей, как банковское дело и страхование

   Знаете ли Вы (о неоплачиваемой или домашней работе):

   - что женщины выполняют более двух третей, а мужчины менее одной трети неоплачиваемой домашней работы и работы по уходу за детьми: в 71% семей заботы о членах семьи и работа по домашнему хозяйству - только прерогатива женщины ;

   - что самым значительным фактором разрыва в заработной плате мужчин и женщин является наличие детей, поскольку, кроме дискриминации на рынке труда по признаку пола, женщины сами выбирают менее доходные области занятости и виды работ, стремясь "выкроить" время для занятий домом, семьей и детьми;

   - что 48% опрошенных женщин (опрос 1995 года) считают семью и работу в равной степени важной для современной женщины, 37% женщин отдают предпочтение семье, а 59% мужчин и 52% женщин настаивали на том, что при наличии ребенка дошкольного возраста женщина должна сидеть дома;

   - что в семье, состоящей из 4-х человек, ежегодно приходится мыть 18 тыс. ножей и вилок, 13 тыс. тарелок, 8 тыс. чашек и 8 тыс. блюдец;

   - что приготовление пищи занимает 521-625 часов в год у женщин, 52-78 часов у мужчин, т.е. женщины тратят в десять раз больше времени;

   - что, в целом на стирку, глажку, мытье полов, приготовление пищи и чистку и сохранение одежды, чем как правило занимается женщина, уходит более 140 рабочих (8-х часовых) дней или почти семь рабочих месяцев (при 21 рабочем дне в месяце).

   Знаете ли Вы (об уровне жизни):

   - что за последние 10 лет жизненный уровень большей части населения снизился в 4-5 раз;

   - что более трети граждан имеют доходы ниже прожиточного минимума, а еще 50% населения едва сводят концы с концами;

   - что на самые богатые 10% населения приходится около 32% совокупных доходов, что в десятки раз превышает доходы самых бедных 10% населения ;

   - что в 1997 г. лишь около 7% российских женщин, имевших в начале 90-х г.г. доступ к финансовым и другим видам ресурсов, имели доход от собственности или предпринимательской деятельности, обеспечивающих им попадание в группу наиболее обеспеченных слоев населения;

   - что в России, которая по Конституции является социальным государством, узаконены минимальные размеры оплаты труда и пенсий, которые в несколько раз меньше прожиточного минимума;

   - что в 2001 году минимальный размер оплаты труда после повышения до 300 рублей составит только 22% к прожиточному минимуму;

   - что минимальные пенсии и зарплаты все также будут отставать от прожиточного минимума и в 2001 году.

   Знаете ли Вы (о социальных расходах федерального бюджета на 2001 год):

   - что в 2001 г. расходы федерального бюджета должны возрасти на 338 млрд. рублей, но только 6,5% из этой суммы предусмотрено для раздела "Социальная политика";

   - что по сравнению с 2000 г. удельный вес раздела "Здравоохранение и физическая культура" в расходах федерального бюджета уменьшится с 1,87% до 1,78%, а в ВВП - с 0,3% до 0,27%. За счет экономии на здоровье нации доля расходов в ВВП на государственное управление вырастет с 0,48% до 0,54%, на национальную оборону - с 2,39% до 2,66%, на правоохранительную деятельность - с 1,37% до 1,67%, на промышленность - с 0,37 до 0,55%.;

   - что проект об образовании предлагал на этапе 2001-2003 годов обеспечить достижение уровня финансирования системы образования не ниже 6% валового внутреннего продукта (для сравнения: сейчас около 3,5%), а в дальнейшем довести этот показатель до 10% от ВВП. (В том числе на финансирование образовательных учреждений федерального подчинения до 1,5% от ВВП (сейчас около 0,7%);

   - что известная "программа Грефа" предполагает увеличение финансирования образования за 5 лет с 3,2% до 4,2% от ВВП;

   - что бюджет 2001 г. принесёт не сокращение, а увеличение разрыва в оплате педагогов и работников промышленности;

   - что в соответствии с Федеральным законом "О бюджете фонда социального страхования Российской Федерации" следует ожидать значительного сокращения расходов на санитарно-курортное лечение населения и прекращения финансирования детско-юношеских спортивных школ;

   - что в результате недостаточного выделения средств на социальные цели на низком уровне остается финансирование таких социальных программ, как: "Старшее поколение", "Дети-инвалиды", "Дети Севера", "Социальная поддержка инвалидов" и т.д.;

   - что по оценке специалистов, предусмотренные в Фонде компенсаций для реализации федеральных законов "О социальной защите инвалидов в Российской Федерации" и "О ветеранах", составляют соответственно только 16,7 и 32,7 процента к потребности;

   - что задолженность по детским пособиям за пять лет достигла неподъемной для местных бюджетов суммы - 29 млрд. рублей. Это при том, что на всю социальную политику в Российской Федерации на 2000 год было предусмотрено 62 млрд. рублей;

   - что на детское пособие можно купить в месяц всего лишь около килограмма мяса;

   - что особенно "забота" государства о детях видна на проектировках по федеральной целевой президентской программе "Дети России". Средства намечены на два года (2001 и 2002) и в проекте федерального бюджета на 2002 выглядят следующим образом по основным программам:

   "Дети-инвалиды" - минус 170 млн.рублей;

   "Дети-сироты" - минус 238 млн. рублей;

   "Дети Чернобыля" - минус 78 млн. рублей;

   "Дети Севера" - минус 91 млн.рублей;

   Расходы бюджета по детскому отдыху сокращаются с 600 до 502 млн. руб. Детские пособия и стипендии вообще не намечается повышать;

   - что на социальные расходы федеральный бюджет на 2002 г проектирует 535 млрд. рублей или почти 29% бюджета. Однако такая высокая цифра сложилась из-за структурной перестройки. С учетом этого проект бюджета 2002 года выделяет на социальные цели меньше средств, чем в 2001 году - соответственно, 14% против 16%.

Шведова Н.А.

*   *   *   *   *   *   *

   На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

   На сайте работает форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

   Заходите - вас будут рады видеть!

*   *   *   *   *   *   *

   Предыдущую версию сайта "Высокие статистические технологии" вы можете найти по адресу www.newtech.ru/~orlov. Для доступа к этой версии сайта вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: imt или demo. Password: test, Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Вход под этим логином бесплатный, сеанс связи неограничен. Если Вам отказывают в авторизации, то просто повторите дозвон позже.

   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Книга предназначена всем интересующимся политологическими и социологическими проблемами.

   "Disser" - это комплект макросов для Word, упрощающих создание рефератов и курсовых. Готовое оформление, титульный лист, содержание создаются несколькими щелчками мыши. Ввод предельно упрощён благодаря автозамене, расшифровывающей популярные сокращения. Также: настройка недокументированных возможностей, дополнительные шаблоны, сборник полезных советов, методичка "Как написать реферат". Сайт: http://kankowski.narod.ru, зеркало: http://e-town.nm.ru.

Удачи вам и счастья!


http://subscribe.ru/
http://subscribe.ru/feedback/
Подписан адрес:
Код этой рассылки: science.humanity.econometrika
Отписаться

В избранное