Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 50


Служба Рассылок Subscribe.Ru проекта Citycat.Ru

Здравствуйте, уважаемые подписчики!

   В ближайших трех номерах Вы найдете рассказ о так называемом "управлении рисками", то есть о методах оценки вероятности возникновения нежелательных ситуаций и способах их предотвращения и минимизации потерь.
   Автор материалов рассылки и статей на сайте http://antorlov.chat.ru - профессор А.И.Орлов. Поддержка рассылки осуществляется А.А.Орловым.
   Все вышедшие выпуски Вы можете посмотреть в Архиве рассылки по адресу http://www.subscribe.ru/archive/science.humanity.econometrika.

*      *      *

Разработка методологии повышения эффективности деятельности организации путем управления рисками

Часть 1. Разработка методологии эконометрики риска

Введение

   Будущее нам неизвестно. А потому неизвестны и будущие доходы и расходы, мы можем лишь прогнозировать их с той или иной степенью уверенности. Как описывать неопределенность будущего? Чем мы рискуем и что вообще понимать под "риском"? Как отражается неопределенность будущего на потоках платежей, их характеристиках и выводах об эффективности управляющих воздействий на те или иные экономические процессы и других решениях? Как уменьшить возможные потери и защититься от рисков?
   Чтобы управлять рисками, надо сначала знать риски. Поскольку на деятельность любой организации непосредственно либо потенциально влияют риски различной природы, необходима классификация рисков. Возможно, для различных целей понадобятся различные классификации, основанные на различных методологических принципах.
   Для построения такой классификации необходимо какой-либо упорядочивающий принцип. Возьмем за основу движение от частного к общему. Тогда естественно выделить:
   - производственные риски, связанные непосредственно с деятельностью предприятия;
   - коммерческие риски, вызванные неполной предсказуемостью динамики рынка, т.е. действий потребителей и конкурентов;
   - финансовые риски, определяемые макроэкономической ситуацией;
   - риски, возникающие на уровне государства и Земли в целом.
   Затем необходимо изучить степень их влияния на показатели эффективности деятельности организации с целью выделения наиболее значимых.
   После этого целесообразно провести изучение различных способов оценки финансовых и иных рисков в случаях, когда они моделируются с помощью тех или иных математических структур. В частности, распространено моделирование рисков с помощью вероятностей и случайных величин. При этом используются такие характеристики случайной величины, как математическое ожидание, дисперсия, квантили, коэффициент вариации, линейные комбинации математического ожидания и среднего квадратического отклонения и др. Подчеркнем, что эти характеристики следует рассматривать в непараметрической постановке, поскольку нет никаких оснований предполагать, что распределение характеристики риска входит в то или иное из известных параметрических семейств. Однако непараметрический анализ перечисленных характеристик в непараметрической постановке является в настоящее время предметом научных изысканий в эконометрике. Поэтому можно утверждать, что для решения задач эффективного управления деятельностью организацией в условиях риска необходимо решить ряд пока нерешенных проблем эконометрики.
   Перспективной представляется разработка методов описания рисков с помощью теории нечетких множеств, лингвистических переменных, качественных признаков, интервальных математических и эконометрических моделей и др.
   Существенно, что описание может быть многомерным. Например, каждая координата может соответствовать своему виду воздействия (нарушения, происшествия) и описываться количественным либо качественным признаком. Тогда дополнительно возникает задача агрегирования (сведения вместе) показателей риска. Для агрегирования могут быть использованы различные методы, разработанные в теории оценки технического уровня и в теории экспертных оценок.
   Следующий этап - разработка методологии применения различных методов управления рисками с использованием экспертных оценок, современных методов прогнозирования, эконометрических и экономико-математических моделей с целью повышения эффективности деятельности организации в условиях риска. При этом необходимо научиться практически решать проблему многокритериальности (согласования оценок рисков, полученных по различным основаниям, с целью эффективного управления риском).
   К настоящему времени накоплена огромная литература по вопросам риска, как общая, вроде теории статистического риска, так и по отдельным вопросам – по экологическим рискам, статистическим методам обеспечения качества, финансовым рискам и др. Поэтому итог НИР только тогда будет эффективным, если с самого начала будет поставлена задача подготовки монографии, в которой различными авторами, а потому с различных сторон рассматривалась бы проблема оценки и управления рисками в менеджменте. Даже в электронном варианте такая монография была бы весьма полезна для контактов с коллегами и заказчиками и обучения студентов.

1. Производственные риски

   К ним можно прежде всего отнести риски, связанные с выпуском дефектной продукции. Хорошо известно, что при массовом производстве невозможно обеспечить выпуск продукции без дефектов. Поэтому действуют отделы технического контроля (ОТК), службы (бюро) качества и другие подразделения, осуществляющие контроль качества продукции. Известно, что в машиностроении стоимость контрольных операций составляет в среднем около 10% от стоимости продукции. Часть риска компенсируется службами технического обслуживания продукции, уже находящейся у потребителя. Постоянно используемыми терминами в этой области являются "риск поставщика" и "риск потребителя". Вопросам управления качеством посвящена обширная литература, в том числе ряд работ автора раздела. Одна из важных групп показателей качества – надежность.
   Другой вид рисков связан с осуществлением действующих технологических процессов. Речь идет об авариях различной степени тяжести, от незначительных нарушений технологических процессов до катастроф с человеческими жертвами. Здесь целесообразно обратить внимание на экологические риски, в частности, связанные с аварийными сбросами в реки технологических жидкостей, выбросами в атмосферу газов и взвешенных частиц и др. За подобные действия предприятия обычно обязаны платить штрафы согласно предписаниям экологических органов.
   Отметим риски, относящиеся к проектируемым продукции или технологическим процессам. Они могут быть связаны с ошибками разработчиков или физической невозможностью осуществления того или иного процесса. Так, в течение всей второй половины ХХ века физики утверждали о появлении в ближайшее время неиссякаемого источника энергии на основе преобразования тяжелой воды с помощью управляемого термоядерного синтеза. Эта пропаганда, несомненно, сдерживала финансирование и развитие ресурсосберегающих технологий. Еще в начале ХХ в. Д.И.Менделеев говорил, что сжигать нефть – это то же самое, что топить печь ассигнациями. Тем не менее и сейчас нефть используют как топливо, разведанных запасов остается все меньше. Излишний оптимизм физиков нам всем еще дорого обойдется.
   Среди производственных рисков есть и социальные, связанные с теми или иными конфликтами. Здесь надо разделять конфликты между службами, с которыми можно бороться, оптимизируя организационную структуру предприятия, различного происхождения конфликты между менеджерами высшего звена, конфликты между профсоюзами и администрацией по поводу заработной платы или условий труда, и др. Современные методы управления персоналом позволяют заранее спрогнозировать многие из таких конфликтов и предложить пути их разрешения.

2. Коммерческие риски

   Речь идет о рисках, связанных с неопределенностью будущей рыночной ситуации в стране. В частности, о будущих действий поставщиков в связи с меняющимися предпочтениями потребителей. Напомним, например, о быстрых изменениях на рынке вычислительной техники в связи с появлением персональных компьютеров. Мода в той или иной степени отражается на поведении потребителей во многих областях.
   Весьма существенны риски, связанные с деятельностью партнеров организации - участников экономической жизни (в том числе их законопослушностью как налогоплательщиков), в частности, с их деловой активностью, финансовым положением, соблюдением обязательств. Особенно надо отметить роль конкурентного окружения, от действий которого зависит многое в судьбе конкретного предприятия. В частности, важны информационные риски, связанные с промышленным шпионажем и возможностями проникновения конкурентов в коммерческие тайны и иного воздействия на внутренние дела организации, в частности, через компьютерные сети типа Интернет.
   К этому же разделу можно отнести риски, связанные с социальными и административными факторами в конкретных регионах, с взаимоотношениями рассматриваемой организации с органами местной и региональной власти, как официальными, так и криминальными.

3. Финансовые риски

   Отметим прежде всего риски, связанные с колебаниями цен на товары и услуги (динамикой инфляции), ставки рефинансирования Центрального банка, нормы банковского процента, валютных курсов и других макроэкономических показателей, в том числе котировок государственных и частных (корпоративных) ценных бумаг. Часть этих рисков носит объективный, а часть – число спекулятивный характер. К этому же разделу можно отнести риски, связанные с нестабильностью законодательства и текущей экономической политики (т.е. с деятельностью руководства страны, министерств и ведомств). Дополнительные проблемы создает множественность нормативно-правовых актов, регулирующих хозяйственно-экономическую деятельность организации (порядка 104, если считать не только федеральные нормативно-правовые акты, но и нормативно-правовые акты субъекта федерации, например, г. Москвы), зачастую противоречащих друг другу, что вызывает необходимость в комментариях юристов, в том числе в судебном порядке.

4. Риски, возникающие на уровне государства и Земли в целом

   К этому разделу отнесем риски, связанные с политической ситуацией в целом, действиями партий, профсоюзов, экологических и других организаций в масштабе страны. Типичным примером являются риски, связанные с заметным изменением курса страны в результате тех или иных выборов. Другой пример – российский кризис, начавшийся в августе 1998 г. и непосредственно вызванный решением трех чиновников. Большое значения имеют риски, связанные с социальной борьбой ("рельсовая война", забастовки, массовые столкновения, терроризм, и др.)…
   Внешнеэкономические риски, например, связанные с динамикой цены на нефть, крупномасштабными зарубежными финансовыми (в Юго-Восточной Азии) или военными (Югославия) кризисами и т.д., могут оказать существенное воздействие на рассматриваемую организацию.
   Большое число рисков связано с природными явлениями. Их можно объединить под именем "экологические". К ним относятся, в частности, риски, связанные с неопределенностью ряда природных явлений. Типичным примером является погода, от которой зависят урожайность, расходы на отопление и уборку улиц, доходы от туризма и др. Обратим внимание на риски, связанные с недостаточными знаниями о природе (например, нам неизвестен точный объем полезных ископаемых в том или ином месторождении, а потому мы не можем точно предсказать развитие добывающей промышленности и объем налоговых поступлений от ее предприятий). Нельзя забывать о рисках экологических бедствий и катастроф, типа ураганов, смерчей, землетрясений, цунами, селей и др.
   Каждый из перечисленных видов рисков может быть структуризован далее. Так, имеются крупные развернутые разработки по анализу рисков технологических аварий, в частности, на химических производствах и на атомных электростанциях (соответствующая теория именуется ВАБ – вероятностный анализ безопасности). Ясно, что аварии типа Чернобыльской существенно влияют на значения СТЭП-факторов (принятое сокращение для комплекса социальных, технологических, экономических и политических факторов, действующих на организацию) и тем самым на поступления и выплаты из бюджета как на местном, так и на федеральном уровне (что существенно, если "организация" – это муниципальный или государственный орган власти или его подразделение типа налоговой инспекции).

5. Подходы к учету неопределенности и описанию рисков

   С точки зрения математического моделирования в настоящее время для описания неопределенностей чаще всего используют такие математические средства, как:
   - вероятностно-статистические методы,
   - методы интервальной статистики и интервальной математики, а также методы теории нечеткости,
   - методы теории конфликтов (теории игр).
   Они применяются в имитационных, эконометрических, экономико-математических моделях, реализованных обычно в виде программных продуктов.
   Некоторые виды неопределенностей связаны с безразличными к организации силами - природными (погодные условия) или общественными (смена правительства). Если явление достаточно часто повторяется, то его естественно описывать в вероятностных терминах. Так, прогноз урожайности зерновых вполне естественно вести в вероятностных терминах. Если событие единично, то вероятностное описание вызывает внутренний протест, поскольку частотная интерпретация вероятности невозможна. Так, для описания неопределенности, связанной с исходами выборов или со сменой правительства, лучше использовать методы теории нечеткости, в частности, интервальной математики (интервал – удобный частный случай описания нечеткого множества). Наконец, если неопределенность связана с активными действиями соперников или партнеров, целесообразно применять методы анализа конфликтных ситуаций, т.е. методы теории игр, прежде всего антагонистических игр, но иногда полезны и более новые методы кооперативных игр, нацеленных на получение устойчивого компромисса.
   Развитию указанных подходов с анализом соответствующих примеров должен быть посвящен ряд дальнейших разделов НИР.

6. Подходы к оцениванию рисков

   Понятие "риск", как уже отмечалось, многогранно. Например, при использовании статистических методов управления качеством продукции риски - это вероятности некоторых событий (в статистическом приемочном контроле риск поставщика - это вероятность забракования партии продукции хорошего качества, а риск потребителя - приемки "плохой" партии; при статистическом регулировании процессов рассматривают риск незамеченной разладки и риск излишней наладки). Тогда оценка риска – это оценка вероятности, точечная или интервальная, по статистическим данных или экспертная. В таком случае для управления риском задают ограничения на вероятности нежелательных событий. Иногда под уменьшением риска понимают уменьшение дисперсии случайной величины, поскольку при этом уменьшается неопределенность. В теории принятия решений риск - это плата за принятие решения, отличного от оптимального, он обычно выражается как математическое ожидание. В экономике плата измеряется обычно в денежных единицах, т.е. в виде финансового потока (потока платежей и поступлений) в условиях неопределенности.
   Методы математического моделирования позволяют предложить и изучить разнообразные методы оценки риска. Широко применяются два вида методов - статистические, основанные на использовании эмпирических данных, и экспертные, опирающиеся на мнения и интуицию специалистов. Теория и практика экспертных оценок - большое направление научно-практической деятельности, активно развиваемое в нашей стране с начала 1970-х годов (см. обзор [1]).
   Чтобы продемонстрировать сложность проблемы оценивания риска и различные существующие подходы, рассмотрим простейший случай. Пусть неопределенность носит вероятностный характер, а потери описываются случайной величиной (не вектором и не процессом). Тогда минимизация риска может состоять:
   1) в минимизации математического ожидания (ожидаемых потерь),
   2) в минимизации квантиля распределения (например, медианы функции распределения потерь или квантиля порядка 0,99, выше которого располагаются большие потери, встречающиеся крайне редко - в 1 случае из 100),
   3) в минимизации дисперсии (т.е. показателя разброса возможных значений потерь),
   4) в минимизации суммы математического ожидания и утроенного среднего квадратического отклонения (на основе известного "правила трех сигм"), или иной линейной комбинации математического ожидания и среднего квадратического отклонения (используют в случае близости распределения потерь к нормальному как комбинацию подходов, нацеленных на минимизацию средних потерь и разброса возможных значений потерь),
   5) в максимизации математического ожидания функции полезности (в случае, когда полезность 1 руб. меняется в зависимости от общей располагаемой суммы [2], в частности, когда необходимо исключить возможность разорения экономического агента), и т.д.
   Обсудим пять перечисленных постановок. Первая из них – минимизация средних потерь – представляется вполне естественной, если все возможные потери малы по сравнению с ресурсами предприятия. В противном случае первый подход неразумен. Рассмотрим условный пример. У человека имеется 1000 рублей. Ему предлагается подбросить монету. Если выпадает "орел", то он получает 5000 рублей. Если же выпадает "цифра", он должен уплатить 2000 рублей. Стоит ли данному человеку участвовать в описанном пари? Если подсчитать математическое ожидание дохода, то, поскольку каждая сторона монеты имеет одну и ту же вероятность выпасть, равную 0,5, оно равно 5000 х 0,5 + (-2000) х 0,5 = 1500. Казалось бы, пари весьма выгодно. Однако большинство людей на него не пойдет, поскольку с вероятностью 0,5 они лишатся всего своего достояния и останутся должны 1000 рублей, другими словами, разорятся. Здесь проявляется психологическая оценка ценности рубля, зависящая от общей имеющийся суммы – 1000 рублей для человека с обычным доходом значит гораздо больше, чем та же 1000 руб. для миллионера.
   Второй подход нацелен как раз на минимизацию больших потерь, на защиту от разорения. Другое его применение – исключение катастрофических аварий, например, типа Чернобыльской. При втором подходе средние потери могут увеличиться (по сравнению с первым), зато максимальные будут контролироваться.
   Третий подход нацелен на минимизацию разброса окончательных результатов. Средние потери при этом могут быть выше, чем при первом, но того,. кто принимает решение, это не волнует – ему нужна максимальная определенность будущего, пусть даже ценой повышения потерь.
   Четвертый подход сочетает в себе первый и третий, хотя и довольно примитивным образом. Проблема ведь в том, что управление риском в рассматриваемом случае – это по крайней мере двукритериальная задача – желательно средние потери снизить (другими словами, математическое ожидание доходов повысить), и одновременно уменьшить показатель неопределенности – дисперсию. Хорошо известны проблемы, возникающие при многокритериальной оптимизации.
   Наиболее продвинутый подход – пятый. Но для его применения необходимо построить функцию полезности. Это – большая самостоятельная задача. Обычно ее решают с помощью специально организованного эконометрического исследования.
   Если неопределенность носит интервальный характер, т.е. описывается интервалами, то естественно применить методы статистики интервальных данных (как части интервальной математики), рассчитать минимальный и максимальный возможный доходы и потери, и т.д.
   Разработаны различные способы уменьшения экономических рисков, связанные с выбором стратегий поведения, в частности, диверсификацией, страхованием и др. Причем эти подходы относятся не только к отдельным организациям. Так, применительно к системам налогообложения диверсификация означает использование не одного, а системы налогов, чтобы нейтрализовать действия налогоплательщиков, нацеленные на уменьшение своих налоговых платежей. Однако динамика реальных экономических систем такова, что любые формальные модели дают в лучшем случае только качественную картину. Например, не существует математических моделей, позволяющих достаточно точно спрогнозировать инфляцию вообще и даже реакцию экономики на одноразовое решение типа либерализации цен [3-5].

7. Необходимость применения экспертных оценок при оценке и управлении рисками

   Из сказанного выше вытекает, что разнообразные формальные методы оценки оценки рисков и управления ими во многих случаях (реально во всех нетривиальных ситуациях) не могут дать однозначных рекомендаций. В конце процесса принятия решения - всегда человек, менеджер, на котором лежит ответственность за принятое решение.
   Поэтому процедуры экспертного оценивания естественно применять не только на конечном, но и на всех остальных этапах анализа рассматриваемого организацией проекта, используя при этом весь арсенал теории и практики экспертных оценок, весьма развитой области научной и практической деятельности [1,6].
   Мы не призываем отказаться от формально-экономических методов, например, вычисления чистых приведенных (дисконтированных) потерь и других характеристик. Использование соответствующих программных продуктов полезно для принятия обоснованных решений. Однако нельзя абсолютизировать формально-экономические методы. На основные вопросы типа: достаточно ли высоки доходы, чтобы оправдать риск, или: что лучше - быстро, но мало, или долго, но много - ответить могут только эксперты.
   Поэтому система поддержки принятия решений в организации должна сочетать формально-экономические и экспертные процедуры.
   Разработка системы поддержки принятия решений в организации, нацеленной на оценивание рисков и управление ими – не простое дело. Укажем несколько проблем, связанных с подобной работой. Совершенно ясно, что система должна быть насыщена конкретными численными данными об экономическом состоянии региона, страны, возможно и мира в целом. Добыть такие данные нелегко, в частности, потому, что сводки Российского статистического агентства (ранее – Госкомстата РФ) искажены []. В частности, мы занялись изучением инфляции именно потому, что наши данные по этому показателю превышали данные Госкомстата РФ примерно в 2 раза [3]. Зарубежные источники типа [8] также содержат неточности. Так при составлении балансовых соотношений для макроэкономических паказателей по данным [8] выяснилось, что государство должно иметь дополнительный источник доходов в несколько сотен миллиардов долларов, а доходы бизнеса имеют излишек в 30 миллиардов долларов. Другими словами, популярный учебник [8] содержит данные,не согласующиеся друг с другом, Ощибка ли это авторов или сознательная фальсификация с целью скрыть от читателей характеристики американской экономики – не будем здесь обсуждать.
   При решении рассматриваемых вопросов могут оказаться полезными известные публикации по методам учета финансового риска [9-10]. При использовании широкого арсенала статистических методов необходимо учитывать особенности их развития в России и СССР, наложившие свой отпечаток на современное состояние в области кадров и литературных источников.

Список цитированных источников

   1. Орлов А.И. Экспертные оценки - Заводская лаборатория, 1996, т.62, No.1, с.54-60.
   2. Пиндайк Р., Рубинфельд Д. Микроэкономика. - М.: "Экономика"-"Дело", 1992.
   3. Математические модели в экономике. Расчет индекса инфляции/ Орлов А.И., Балашов В.В., Канакова Е.М., Куроптев О.В., Рафальская А.Э.- М.: МГИЭМ(ту), 1994.
   4. Орлов А.И. Как использовать индекс инфляции? - Наука и технология в России, 1995, No. 9-10 (15-16)..
   5. Орлов А.И., Иванова И.Г., Точенная Н.С. Инфляция: вчера, сегодня, завтра // Наука и технология в России, 1996, No. 1(17).
   6. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979.
   7. Орлов А.И. Можно ли верить данным Госкомстата? - Наука и технология в России, 1996, No. 1(17).
   8. Макконнелл К.Р., Брю С.Л. Экономикс: Принципы, проблемы и политика. В 2 т.: Пер. с англ. 11-го изд. - М.: Республика, 1992.
   9. Первозванский А.А., Первозванская Т.Н. Финансовый рынок: расчет и риск. - М.: Инфра-М, 1994.
   10.Четыркин Е.М. Методы экономических расчетов. - М.: Гамма, 1992.
   11. Орлов А.И. О перестройке статистической науки и ее применений - Вестник статистики, 1990, No. 1, с.65-71.
   12. Орлов А.И. Прикладная статистика - "Золушка" научно-технической революции - Наука и технология в России, 1994, No. 1 (3).

А.И.Орлов,
д.т.н., профессор МГТУ им. Н.Э.Баумана,
академик Российской академии статистических методов

2000 г., январь-март

*      *      *

   На сайте http://antorlov.chat.ru или его зеркале http://www.newtech.ru/~orlov Вы можете найти:
   1. Полезные макросы для Microsoft Word 97/2000 для верстки в Word книжек размером в половину листа, обьединения множества файлов в один, создания каталогов своих файлов, извлечения из недр Word'а красивых значков.
   2. Макрос для Microsoft Word 97/2000 - Конвертор "Число-текст", обладающий возможностью автоматического обновления вставленных текстовых расшифровок при изменении значений исходных чисел.
   3. Учебник профессора А.И.Орлова по менеджменту.
   4. Статьи А.И.Орлова по актуальным вопросам статистики и экономики.
   5. Лекцию об устройстве ядерных реакторов.
   6. Информацию об Институте высоких статистических технологий, который занимается развитием, изучением и внедрением наиболее современных методов анализа технических, экономических, социологических, медицинских данных.
   Страница рассылки - http://antorlov.chat.ru/ivst.htm или http://www.newtech.ru/~orlov/ivst.htm.
   Если Вы живете в Москве, то для доступа к сайту www.newtech.ru/~orlov Вы можете воспользоваться бесплатным демо-доступом компании NewTech. Телефоны: (095)234-94-49, (095)956-37-46. Login: demo (или imt). Password: test. Вход под этим логином абсолютно бесплатный и открыт круглосуточно. Сеанс связи неограничен. Одновременно возможен вход не более 5 пользователей по демо-доступу. Если Вы видите сообщение об отказе в авторизации, значит, Вы - 6-й пользователь, входящий под этим логином, - повторите попытку позже. Доступ с использованием программы Netscape Navigator требует указания DNS: Primary DNS: 212.16.0.1, Secondary DNS: 193.232.112.1. Отказ сервера в принятии пароля не должен служить основанием для прекращения дозвона.
   На сайте http://karamurza.chat.ru представлена книга видного современного философа и политолога С.Г.Кара-Мурзы "Опять вопросы вождям", которая является глубоким научным исследованием проблем западного и российского общества. Данная книга может серьезно повысить образовательный уровень интересующихся политологическими и социологическими проблемами.
   Из книги Максима Калашникова "Битва за Небеса", представленной на сайте http://skywars.chat.ru, Вы узнаете о том, какими должны были стать воздушно-космические силы СССР 2000 года и прочтете о русской авиации 20 века. Вы познакомитесь с планом построения страны-сверхкорпорации, которой так боялись США, узнаете, как и кем планомерно уничтожалась советская цивилизация.
   Книга "Тайны и секреты компьютера", вышедшая в издательстве "Радио и связь", предназначена для тех, кто самостоятельно осваивает мир информационных технологий. Программирование в среде Microsoft Office, создание сайтов, устройство сети Интернет, структура системного реестра Windows и файловой системы, сеть Fidonet, строение жидкокристаллических дисплеев и проблема наличия различных кодировок русского языка, - про все это рассказывается в ней. Многообразие тем и легкий стиль изложения сделают ее вашим спутником на долгое время, и вы всегда сможете найти в ней нужную именно в данный момент информацию. Если Вы интересуетесь компьютерными технологиями, желали бы расширить свои знания и умения в этой области, то она Вам наверняка понравится. На сайте http://comptain.chat.ru, посвященном этой книге, вы можете ознакомиться с ее оглавлением и аннотацией, прочитать некоторые главы, купить в Интернет-магазине.

Удачи Вам и счастья!



http://subscribe.ru/
E-mail: ask@subscribe.ru
Отписаться Рейтингуется SpyLog

В избранное