Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 807


"Эконометрика", 807 выпуск, 11 июля 2016 года.

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Статья А.И. Орлова "Современные эконометрические методы - интеллектуальные инструменты инженера, управленца и экономиста" посвящена эконометрике как научной, практической и учебной дисциплине.

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

УДК 519.2:005.521:633.1:004.8

Современные эконометрические методы - интеллектуальные инструменты инженера, управленца и экономиста

Орлов Александр Иванович

д.э.н., д.т.н., к.ф.-м.н., профессор

Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru

Статистические методы широко используются в отечественных технико-экономических исследованиях. Однако для большинства менеджеров, экономистов и инженеров они являются экзотикой. Это объясняется тем, что в вузах современным статистическим методам не учат. Обсудим сложившуюся ситуацию, уделив основное внимание статистическим методам в экономических и технико-экономических исследованиях, т.е. эконометрике. В мировой науке эконометрика занимает достойное место. Имеются научные журналы по эконометрике, нобелевские премии по экономике присуждены ряду эконометриков. Положение в области научных и практических работ и особенно преподавания эконометрики в России является неблагополучным. Зачастую за эконометрику выдают отдельные частные построения, например, относящиеся к регрессионному анализу. В эконометрике естественно выделить три вида научной и прикладной деятельности: разработка и изучение методов прикладной статистики с учетом специфики экономических данных; разработка и изучение эконометрических моделей в соответствии с конкретными потребностями экономической науки и практики; применение эконометрических методов для статистического анализа конкретных экономических данных. В статье рассмотрены эти три вида научной и прикладной деятельности. Выявлена специфика экономических данных. Показано большое значение нечисловых экономических величин. Обсуждается статистика интервальных данных - научное направление на стыке метрологии и статистики. Дано представление об эконометрических моделях. Проблемы применения эконометрических методов рассмотрены на примере инфляции. Обсуждаются статистика и эконометрика как области научно-практической деятельности. Рассмотрены эконометрические методы в практической и учебной деятельности.

Ключевые слова: статистические методы, эконометрика, инженерное ДЕЛО, управление, экономика, нечисловые экономические величины, статистика интервальных данных, инфляция.

Modern econometric methods - intellectual tools of engineers, managers and economists

Orlov Alexander Ivanovich

Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor

Bauman Moscow State Technical University, Moscow, Russia

Statistical methods are widely used in domestic feasibility studies. However, for most managers, economists and engineers, they are exotic. This is due to the fact that modern statistical methods are not taught in the universities. We discuss the situation, focusing on the statistical methods for economic and feasibility studies, ie, econometrics. In the world of science econometrics has a rightful place. There are scientific journals in econometrics, Nobel Prizes in Economics are awarded to series of researches in econometrics. The situation in the field of scientific and practical work and especially the teaching of econometrics in Russia is disadvantaged. Often, individual particular constructions replace econometrics in general, such as those related to regression analysis. In econometrics we select three types of scientific and applied activities: development and study of methods of applied statistics, taking into account the specifics of economic data; development and study of econometric models, in accordance with the specific needs of economic science and practice; the use of econometric methods for statistical analysis of specific economic data. This article describes these three types of scientific and applied activities. We discuss the specificity of economic data. We show the importance of economic non-numeric values. We discuss the statistics of interval data - scientific direction at the joint of metrology and statistics. We give the representation of the econometric models. Problems of application of econometric methods are considered as an example of inflation. We discuss the statistics and econometrics as the field of scientific and practical activities. Are examined econometric methods in practical and training activities.

Keywords: statistical methods, econometrics, engineering, management, economics, non-numeric economic quantities, statistics of interval data, inflation.

1. Введение

Статистические методы широко используются в отечественных технико-экономических исследованиях. Достаточно сослаться на работы [1 - 4] в качестве примеров. Публикации по различных применениям статистических методов в инженерном деле постоянно появляются, например, в журнале "Заводская лаборатория. Диагностика материалов" (в секции "Математические методы исследования"), "Научном журнале КубГАУ". Однако необходимо констатировать, что статистические методы для большинства менеджеров, экономистов и инженеров являются экзотикой. Это объясняется тем, что в вузах современным статистическим методам не учат. Каждый специалист в этой области - самоучка. Обсудим сложившуюся ситуацию, уделив основное внимание статистическим методам в экономических и технико-экономических исследованиях, т.е. эконометрике.

Сначала необходимо выяснить, что понимают под эконометрикой. Затем обсудим современное состояние эконометрики как научно-практической дисциплины.

2. Эконометрика = экономика + метрика

В экономической теории обычно выделяют макроэкономику, микроэкономику и эконометрику. В одном из наиболее распространенном в России вводном курсе западной экономической теории сказано: "Статистический анализ экономических данных называется эконометрикой, что буквально означает: наука об экономических измерениях" [5, с.25 ].

Действительно, термин "эконометрика" состоит из двух частей: "эконо-" - от "экономика" и "-метрика" - от "измерение". Эконометрика (в другом русско- и англоязычном варианте названия этой дисциплины - эконометрия) входит в обширное семейство дисциплин, посвященных статистическим методам в различных областях науки и практики. К этому семейству относятся, в частности, биометрика (или биометрия), технометрика, наукометрия, психометрика, хемометрика (наука об измерениях и применении статистических методов в химии). Особняком стоит социометрия - этот термин закрепился за статистическим методом анализа взаимоотношений в малых группах, т.е. за малой частью такой дисциплины, как статистический анализ в социологии. Эконометрика, как и другие "метрики", посвящена развитию и применению статистических методов в конкретной области науки и практики - в экономике и управлении народным хозяйством.

В мировой науке эконометрика занимает достойное место. Об этом, в частности, свидетельствует то, что Нобелевские премии по экономике получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн, Трюгве Хаавельмо и др. Имеется ряд научных журналов по эконометрике, в том числе:

Journal of Econometrics (Швеция),

Econometric Reviews (США),

Econometrica (США),

Sankhya. Indian Journal of Statistics. Ser.D. Quantitative Economics (Индия),

Publications Econometriques (Франция), и др.

Однако в нашей стране по ряду причин, о которых скажем ниже, эконометрика не была сформирована как самостоятельное направление научной и практической деятельности, в отличие, например, от Польши, которая стараниями О. Ланге покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). С конца ХХ в. в России развертываются эконометрические исследования, ведется преподавание этой дисциплины.

Рассмотрим современную палитру эконометрических методов. Это представляется тем более необходимым, что положение в области научных и практических работ и особенно преподавания эконометрики в России является неблагополучным. Зачастую за эконометрику выдают отдельные частные построения, например, относящиеся к регрессионному анализу. В результате специалисты и студенты-экономисты лишаются знаний о подлинной эконометрике и широте ее возможностей. Для обоснованных суждений о возможностях применения эконометрических методов в экономических и технико-экономических исследованиях необходимо исходить из реальной структуры эконометрики, а не из того искаженного представления, которое дают недостаточно квалифицированные или односторонние публикации.

3. Структура эконометрики

В эконометрике, как дисциплине на стыке экономики и статистического анализа, естественно выделить три вида научной и прикладной деятельности:

а) разработка и изучение методов прикладной статистики с учетом специфики экономических данных;

б) разработка и изучение эконометрических моделей в соответствии с конкретными потребностями экономической науки и практики;

в) применение эконометрических методов для статистического анализа конкретных экономических данных.

Рассмотрим три выделенных выше вида научной и прикладной деятельности.

4. Специфика экономических данных

Для анализа экономических данных могут применяться все разделы прикладной статистики, а именно (перечень согласно [6]):

статистика случайных величин;

многомерный статистический анализ;

статистика временных рядов и случайных процессов;

статистика объектов нечисловой природы, в том числе статистика интервальных данных.

Как и для применений статистики в иных областях, решаются задачи описания данных (в том числе усреднения), оценивания, проверки гипотез, восстановления зависимостей, классификации объектов и признаков, прогнозирования, принятия решений и др.

Однако в некоторых отношениях экономические данные отличаются от технических или астрономических.

Многие экономические показатели неотрицательны. Значит, их надо описывать неотрицательными случайными величинами, например, имеющими логарифмически нормальное распределение, распределение Вейбулла - Гнеденко, гамма-распределение или распределение Парето и др. Нормальные распределения принципиально не подходят, поскольку для них вероятность отрицательных значений всегда положительна.

Экономические процессы развиваются во времени, поэтому большое место в эконометрике занимают вопросы анализа и прогнозирования временных рядов, в том числе многомерных. При этом в одних задачах больше внимания уделяют изучению трендов (средних значений, математических ожиданий), например, при анализе динамики цен. В других же - важны отклонения от средней тенденции, например, при применении контрольных карт (Шухарта, кумулятивных сумм и др.). Однако в целом спектральный анализ и выделение различных периодов, циклов и типов волн менее распространены, чем, скажем, в биометрике.

В экономике доля нечисловых данных существенно выше, чем в технике и технологии, соответственно больше применений для статистики объектов нечисловой природы. Разберем это утверждение подробнее в следующем разделе статьи.

Количество изучаемых объектов в экономическом исследовании часто ограничено в принципе, поэтому обоснование вероятностных моделей в ряде случаев затруднено. Уникальные объекты, например, город Москва, трудно рассматривать как элемент выборки из генеральной совокупности с каким-то определенным распределением, поскольку подобное рассмотрение противоречит здравому смыслу. Поэтому в эконометрике часто применяются детерминированные методы анализа данных, в отличие от, например, технических наук, в которых обычным является использование вероятностных моделей. Неопределенность приходится описывать не в терминах вероятностно-статистических моделей, а в терминах теории нечеткости (fuzzy sets theory), статистики интервальных данных. Возможно, окажутся полезными иные методы описания неопределенности, например, развиваемые проф. Б.С. Чендовым (Болгария, София) [7] или в системной нечеткой интервальной математике [8, 9].

Есть два подхода к изучению поведения организаций и людей. Согласно первому из них вполне допустимо описывать действия человека в вероятностных терминах, например, считать его ответ на заданный вопрос случайной величиной. Сторонники второго подхода полагают, что поведение человека или организации является детерминированным, определяется теми или иными причинами, а случайность при анализе выборки возникает лишь из-за случайности при отборе лиц для опроса. Если ответ на вопрос имеет вид "да" - "нет", то число ответов "да" имеет при первом подходе биномиальное распределение, а при втором - гипергеометрическое. К счастью, нетрудно доказать, что при увеличении объема генеральной совокупности эти два распределения сближаются, так что при обоих подходах можно применять одни и те же эконометрические методы, не тратя сил на решение философского вопроса о детерминированности или случайности поведения экономического агента - человека или организации.

Итак, специфика эконометрики проявляется не в перечне статистических методов, а в частоте их использования.

5. Нечисловые экономические величины

В задачах экономики и менеджмента постоянно используются различные величины, рассматриваемые как числовые. Например, рыночная цена товара, прибыль предприятия, индекс инфляции, валовой внутренний продукт, чистая текущая стоимость для потока платежей и т.д. При более тщательном анализе оказывается, что подобные величины не имеют определенного численного значения, они размыты, имеют нечисловой характер, и описывать их следует с помощью нечисловых математических понятий, относящихся к тем или иным классам объектов нечисловой природы, таким, как нечеткие множества, интервалы, распределения вероятностей и др. [10, 11].

Действительно, можно ли считать, что существует рыночная цена на хлеб, выраженная числом? Для определенности рассмотрим стандартный батон белого хлеба, который в 1990 г. стоил 25 копеек. В настоящее время (начало 2016 г.) в различных торговых точках Москвы его можно купить по ценам от 43 руб. 50 коп. до 64 руб. 20 коп. (примерно). Наш исследовательский коллектив (Институт высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана) в течение нескольких лет собирал информацию о ценах на 35 продовольственных товаров в 11 "точках" Москвы и Подмосковья [12], и максимальная из отмеченных цен превышала минимальную, как правило, на 30-50%. Можно говорить о цене товара при конкретном акте купли-продажи, при покупке в конкретном магазине, но нельзя говорить о конкретном числовом значении рыночной цены товара. Так, говорить о "рыночной цене" конкретной квартиры (на вторичном рынке) бессмысленно. С другой стороны, полностью отказываться от этого укоренившегося в литературе понятия нецелесообразно. Мы предлагаем принять, что рыночная цена - объект нечисловой природы, и описывать ее для стандартного батона белого хлеба, например, в виде интервала [43,50; 64,20] руб.

При обсуждении понятия "прибыль предприятия" начнем с очевидной бессмысленности выражения "максимизация прибыли" без указания интервала времени, за который прибыль максимизируется. Только задав интервал времени, можно принять оптимальные решения и рассчитать ожидаемую прибыль. Ясно, что оптимальные решения зависят от интервала планирования. Известная в экономической теории проблема "горизонта планирования" состоит в том, что оптимальное поведение зависит от того, на какое время вперед планируют, а выбор этого горизонта не имеет рационального обоснования. В нашей монографии [13] рассмотрен ряд примеров указанной зависимости и предложено использовать асимптотически оптимальные планы. Дополнительная сложность состоит в том, что будущая прибыль не может быть определена точно, а потому сама должна описываться как объект нечисловой природы. Итак, задача "максимизации прибыли" может приобрести точный смысл лишь после введения и обоснования дополнительных предположений и моделей, например, как максимизация нечеткой прибыли на нечетком интервале времени.

Для приведения экономических величин к одному моменту времени (к сопоставимым ценам) используются индексы инфляции, в другой терминологии, дефляторы. Рассчитывают их с помощью тех или иных потребительских корзин. При этом на нечеткость "рыночных цен" товаров накладывается произвол в выборе состава потребительской корзины и объемов потребления. Теоретический анализ этой ситуации привел нобелевского лауреата по экономике В.В. Леонтьева к выводу о принципиальной невозможности сравнения экономических величин, относящихся к различным моментам времени [14, с.149-173]. Мы видим выход в задании индекса инфляции в интервальном виде. Так, расчеты по собранным нами данным о ценах показывают, например, что для Москвы индекс инфляции на продовольственные товары с марта 1991 г. по март 1998 г. описывается интервалом [10,0; 12,5] (при использовании деноминированных рублей).

Еще более размыты обобщенные показатели типа "валового внутреннего продукта", особенно при их сравнении по годам и странам. По мнению О.Моргенштерна [15], подобные макроэкономические показатели могут быть определены лишь с точностью 5 - 10 %.

Нечеткость в неявной форме присутствует и в натуральных показателях. Пусть, например, выпущена партия продукции - 1000 автомашин определенной марки. Нечеткость состоит в неопределенностях их срока службы, полезных и вредных эффектов от их эксплуатации. Для снятия этих неопределенностей необходимо, в частности, экономически оценить потери от гибели людей в автокатастрофах. Сколько стоит жизнь человека? При всем уважении к оценкам страховых компаний сама постановка этого вопроса вызывает неловкость. Из-за этого, в частности, не получили распространения методы статистического контроля качества [16], основанные на учете народнохозяйственного ущерба от пропуска дефектных изделий при контроле.

Более подробно рассмотрим проблемы управления инвестиционным процессом. Одна из них - проблема сравнения инвестиционных проектов. С чисто финансовой точки зрения такой проект - это поток платежей, т.е. последовательность моментов времени, каждому из которых соответствует некоторая величина платежей (для определенности учитываем их со знаком "минус") или поступлений (учитываем со знаком "плюс"). Как оценивать в целом такие потоки, как их сравнивать? Из многих характеристик потоков платежей рассмотрим здесь две - чистую приведенную величину, или чистую текущую стоимость NPV (Net Present Value), и внутреннюю норму доходности, или прибыли IRR (Internal Rate of Return).

При определении NPV, как известно, для приведения величин платежей и поступлений к одному моменту времени используется постоянный дисконт-фактор. В реальности дисконт-фактор не является заранее известной функцией от времени и зависит от динамики банковской процентной ставки и индекса инфляции. Кроме того, размеры и моменты осуществления платежей и поступлений могут быть известны лишь с некоторой точностью. Следовательно, как функция от неопределенных (размытых) величин NPV сама является неопределенной. Лишь частично эту неопределенность можно снять, рассматривая NPV как функцию одной независимой переменной - дисконт-фактора. Если все перечисленные неопределенности можно описать интервалами (т.е. задать границы - "от" и "до"), то NPV также описывается интервалом, границы которого можно рассчитать с помощью подходов, развитых в статистике интервальных данных (см. следующий раздел).

Внутренняя норма доходности IRR - это значение постоянного дисконт-фактора, при котором NPV = 0. К сожалению, как хорошо известно (см., например, [17, 18]), при "неудачном" распределении поступлений и платежей уравнение NPV = 0 может иметь не одно, а много решений. Как отмечено в [17, 18], есть и иные причины, по которым IRR нельзя использовать для сравнения потоков платежей. Кроме того, в случае IRR имеются те же источники неопределенности, что и для NPV - размытость дисконт-фактора, моментов и величин поступлений и платежей.

Итак, рассмотренные характеристики инвестиционных проектов NPV и IRR, как и любые иные, имеют неустранимые неопределенности. Игнорировать это объективное обстоятельство, завышать точность экономических расчетов - значит обманываться самому либо вводить в заблуждение заказчиков расчетов.

Как же поступать при анализе инвестиционных проектов? Рассмотрим два корректных подхода к такому анализу. Во-первых, можно постараться явным образом учесть имеющиеся неопределенности (в том числе перечисленные выше) и применить те или иные способы анализа неопределенных величин, в частности, разработанные в теории нечеткости и в статистике объектов нечисловой природы [10, 11, 13, 19 - 22]. Другими словами, требуется более тщательный экономико-математический анализ ситуации, предполагающий построение соответствующих эконометрических (в широком смысле) моделей, разработку и/или применение необходимого программного обеспечения. А для этого нужны кадры, время и деньги.

Во-вторых, вместо расчетов можно обратиться к интуиции специалистов, применив современные методы экспертных оценок [13, 21, 23, 24, 25], в частности, основанные на сборе оценок экспертами нечисловых экономических величин и их анализе методами статистики объектов нечисловой природы [10, 11]. Для практического использования представляется перспективным оценивание в виде интервалов (частный случай применения теории нечетких множеств) и соответственно их анализ методами статистики интервальных данных [8, 26, 27]. Применение комбинированных подходов, предполагающих использование систем, интегрирующих как экономико-математические модели, так и методы экспертных оценок - дело будущего.

6. Статистика интервальных данных - научное направление на стыке метрологии и статистики

В статистике интервальных данных (СИД) элементами выборки являются не числа, а интервалы, в частности, порожденные наложением ошибок измерения на значения случайных величин. СИД входит в теорию устойчивости (робастности) статистических процедур и примыкает к интервальной математике. В СИД изучены проблемы регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности и др.

Мы развиваем асимптотические методы статистического анализа интервальных данных при больших объемах выборок и малых погрешностях измерений ([26 - 29] и др.). В отличие от классической математической статистики, сначала устремляется к бесконечности объем выборки и только потом - уменьшаются до нуля погрешности. Разработана общая схема исследования, включающая расчет двух основных характеристик - нотны (максимально возможного отклонения статистики, вызванного интервальностью исходных данных) и рационального объема выборки (превышение которого не дает существенного повышения точности оценивания и статистических выводов, связанных с проверкой гипотез). Она применена к оцениванию математического ожидания и дисперсии, медианы и коэффициента вариации, параметров гамма-распределения в ГОСТ 11.011-83 и характеристик аддитивных статистик, для проверки гипотез о параметрах нормального распределения, в т.ч. с помощью критерия Стьюдента, а также гипотезы однородности двух выборок по критерию Смирнова, и т.д.. Разработаны подходы к учету интервальной неопределенности в основных постановках регрессионного, дискриминантного и кластерного анализов.

Многие утверждения СИД отличаются от аналогов из классической математической статистики. В частности, не существует состоятельных оценок: средний квадрат ошибки оценки, как правило, асимптотически равен сумме дисперсии этой оценки, рассчитанной согласно классической теории, и квадрата нотны. Метод моментов иногда оказывается точнее метода максимального правдоподобия (см. ГОСТ 11.011-83). Нецелесообразно с целью повышения точности выводов увеличивать объем выборки сверх некоторого предела. В СИД классические доверительные интервалы должны быть расширены вправо и влево на величину нотны, и длина их не стремится к 0 при росте объема выборки.

СИД позволяет снять некоторые противоречия между метрологией и классической математической статистикой. Например, вторая из названных дисциплин утверждает, что путем увеличения числа измерений можно сколь угодно точно оценить параметр, а первая вполне справедливо оспаривает это утверждение.

7. Эконометрические модели

Статистические модели экономических явлений и процессов определяются спецификой той или иной области экономических исследований. Так, в экономике качества модели, на которых основаны статистические методы сертификации и управления качеством - статистический контроль, контрольные карты, планирование эксперимента, оценка и контроль надежности и другие - используют как технические, так и экономические характеристики, а потому относятся к эконометрике, равно как и многие модели теории массового обслуживания (теории очередей). Экономический эффект только от использования статистического контроля в промышленности США оценивается как 0,8% валового национального продукта (20 миллиардов долларов в год), что существенно больше, чем от любого иного экономико-математического или эконометрического метода.

Научно-технический журнал "Заводская лаборатория. Диагностика материалов" посвящен аналитической химии, физическим, математическим и механическим методам исследования, а также сертификации материалов. С 60-х годов в нем действует секция редколлегии "Математические методы исследования", отвечающая за публикацию статей по статистическим методам, в частности, в метрологии, диагностике материалов, стандартизации, управлении качеством и сертификации.

Ввиду важности статистических методов в рассматриваемой тематике в СССР с начала 70-х годов разрабатывались государственные стандарты по статистическим методам. В 1985 г. нами была организована Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам. В ней участвовали 66 научных работников и специалистов из различных отраслей народного хозяйства и вузов, в том числе более 20 докторов наук. Оказалось, что существенная часть стандартов по статистическим методам содержала грубые ошибки. Затем мы создали Всесоюзный центр по статистическим методам и информатике (в настоящее время - Институт высоких статистических технологий и информатики МГТУ им. Н.Э. Баумана), который разработал около 30 компьютерных систем по современным статистическим методам управления качеством. Наибольшее распространение получила система НАДИС (НАДежность и ИСпытания), созданная под руководством проф. О.И. Тескина (МГТУ им. Н.Э.Баумана). Итоги описанного направления работ подведены в [30].

Рассмотрим два новых теоретических результата. На основе подходов статистики объектов нечисловой природы предложен метод проверки независимости двух альтернативных признаков [31]. Метод нацелен на применение в задачах статистического контроля качества продукции. Проверка независимости проводится по совокупности малых выборок, т.е. в асимптотике А.Н.Колмогорова, когда число неизвестных параметров распределения растет пропорционально объему данных.

Чем выше достигнутый уровень качества, тем больше необходимый объем контроля - таков парадокс классической теории статистического контроля. Возможный выход состоит в переходе к расширению возможностей менеджера при выборе технической политики на основе учета экономических рисков. "Перекладывание" контроля на потребителя может быть экономически выгодно, если производитель организовал защиту от риска методом пополнения партий или путем развития технического обслуживания [32].

Важный раздел эконометрики - теория и практика экспертных оценок. Экспертные оценки используют для решения ряда экономических задач, например, выбора оптимального направления инвестиций, или наилучшего образца определенного вида продукции для организации массового выпуска, или при прогнозировании развития экономической ситуации. Следовательно, используемые в теории экспертных оценок модели [23 - 25] являются эконометрическими.

Менее полезными практически (с точки зрения достигаемого экономического эффекта), но более известными в теоретических и учебных публикациях являются эконометрические модели, предназначенные для прогнозирования макроэкономических показателей [33]. Это модели прогнозирования многомерного временного ряда, в которых оценивают как структуру модели, т.е. вид зависимости между значениями известных координат вектора в прежние моменты времени и их значениями в прогнозируемый момент, так и коэффициенты, входящие в эту зависимость. Структура такой модели - объект нечисловой природы, что и объясняет сложность соответствующей теории.

Каждой области экономических исследований, связанной с анализом эмпирических данных, как правило, соответствуют свои эконометрические модели. Например, для моделирования процессов налогообложения [34] с целью оценки результатов применения управляющих воздействий на процессы налогообложения должен быть разработан комплекс эконометрических моделей. Кроме системы уравнений, описывающей динамику системы налогообложения под влиянием общей экономической ситуации, управляющих воздействий и случайных отклонений, необходим блок экспертных оценок. Полезен блок статистического контроля, включающий как методы выборочного контроля правильности уплаты налогов (налогового аудита), так и блок выявления резких отклонений параметров, описывающих работу налоговых служб.

8. Применения эконометрических методов

Эконометрика не так сильно оторвалась от реальных задач, как математическая статистика, специалисты в области которой зачастую ограничиваются доказательством теорем, не утруждая себя вопросом о том, для чего эти теоремы могут быть нужны. Поэтому эконометрические модели обычно доводятся "до числа", т.е. применяются для обработки конкретных эмпирических данных. Так, эконометрические методы нужны для оценки параметров экономико-математических моделей, например, моделей логистики (управления запасами) [13, 29]. Для более подробного рассмотрения возьмем пример применения эконометрических методов, близкий всем жителям РФ - анализ динамики цен и уровня жизни [12, 35].

Приведение к сопоставимым ценам - составная часть любого экономического расчета, связанного более чем с одним моментом времени. Как показали наши наблюдения над ценами, использование публикуемых официальным статистическим органом РФ (Госкомстат РФ, ныне - Росстат) значений индексов инфляции приводит к систематическим ошибкам. Так, по нашим данным цены за 5 лет (с марта 1991 г. по декабрь 1995 г.) выросли в среднем в 9989 раз, а по данным Госкомстата РФ - в 4700 раз. Сказанное определяет актуальность использования независимой информации о ценах и индексах инфляции при анализе экономического положения российских предприятий и граждан России [36].

Предметом исследования является оценка изменения в ходе реформ фактического среднего и минимального (обеспечивающего физиологическое выживание) уровней жизни граждан РФ через сравнение индексов инфляции, вычисленных на основании различных потребительских корзин, и индекса изменения величины средней заработной платы. В 1994-97 гг. еженедельно собирались данные о ценах 35 продуктов в 12 точках Москвы, Подмосковья и Крыма. Регулярное измерение цен производилось с интервалом в одну неделю, начиная с декабря 1995 г. по настоящее время по 35 различным товарам.

Расчеты по собранным ценам продовольственных товаров (около 30000 отдельных измерений) проводились для 5 потребительских корзин: МИН - продовольственная потребительская корзина Лаборатории эконометрических исследований (составлена с учетом разработок Института питания РАМН, является сбалансированной по белкам, жирам и углеводам и обеспечивает минимальные физиологически необходимые потребности человека); ГКС-1 - продуктовая корзина из 19 продуктов питания (включая сигареты) Госкомстата РФ, применявшаяся в 1993-1996 гг.; ГКС-2 - продуктовая корзина Госкомстата РФ, используемая с 1 января 1997 г. (т.н. новая корзина ГКС); Бюдж.1 - потребительская корзина, разработанная на основе бюджетного обследования (осень 1995 г.) "бедных семей", в состав которых входят студенты (среднедушевое потребление не превосходит 90% от медианы обследованной совокупности семей); Бюдж.2 - аналогичная корзина товаров и услуг для включающих студентов семей со средним уровнем потребления.

Приведем некоторые результаты анализа данных. Так, оказалось, что стоимость потребительской корзины ГКС-2 примерно в 1,5 раза меньше стоимости потребительской корзины ГКС-1. Потребительская корзина МИН располагалась по стоимости примерно посередине между ГКС-1 и ГКС-2. Несмотря на различие стоимостей, индексы инфляции для всех трех корзин ГКС-1, ГКС-2, МИН близки и составляют 8233 - 8896 на конец декабря 1995 г. (здесь и далее отсчет с марта 1991 г.) и 10396 - 10890 на конец февраля 1997 г. Любопытно отметить, что ГКС-1 имеет наименьшие значения индекса из трех корзин, а ГКС-2 - наибольшие, если сравнивать с мартом 1991 г., а то время как рост цен за исследуемый промежуток времени (с конца декабря 1995 г. по конец февраля 1997 г. ) наибольший рост дает корзина МИН (28,05%), а наименьший - ГКС-2 (22,42%).

Совсем иная картина со стоимостями потребительских корзин Бюдж.1 и Бюдж.2. В конце декабря 1995 г. стоимость корзины Бюдж.1 (для "бедных") составляла 659852 руб., а корзины Бюдж.2 (для "средних" семей) - 726364 руб., а к февралю 1997 г. они "подросли" до 832498 руб. (на 26,16%) и 950989 руб. (на 30,92%) соответственно. Эти величины больше прожиточного минимума согласно данным Московской федерации профсоюзов (750 тыс. руб. в мае 1997 г.), хотя разницу нельзя назвать заметной. Интереснее другое - общий рост цен (на февраль 1997 г.) составил 8060-8446, т.е. примерно на 20% меньше, чем для корзин МИН, ГКС-1, ГКС-2. Значит, реформы тяжелее всего ударили по наиболее дешевым товарам, предназначенным для наиболее бедных. Это связано, видимо, с сокращением и прекращением дотаций для таких товаров. Правда, к настоящему времени темпы роста выровнялись - при сравнении февраля 1997 г. с декабрем 1995 г. они составляют 28,05% для корзины МИН, 26,27% - для ГКС-1, 26,16% - для Бюдж.1 и 30,92% для Бюдж.2. Однако для ГКС-2 - 22,42%, заметно меньше, чем для других корзин. В то же время наибольший рост для корзины Бюдж.2 может указывать на тенденцию более быстрого роста цен на товары, предназначенные для более состоятельных людей.

Вполне естественно, что с марта 1991 г. по февраль 1997 г. цены на различные товары выросли по-разному. Так, цены на рыбу (треска, минтай) выросли примерно в 25000 раз, а цена на сахар - менее чем в 4000 раз. Цены на творог выросли в 2,5 раза больше, чем на сыр, и т.д. В Москве и Московской области рост цен достаточно хорошо согласован. Можно было бы предположить, что в рыночных условиях были исправлены диспропорции прежней дотационной плановой системы. Тогда рост цен после декабря 1995 г. должен был бы быть примерно равномерным, отражающим динамику общеэкономических процессов. Эмпирические данные отвергают это предположение. Так, в Москве при общем среднем росте цен на 20-30% больше всего выросли цены на огурцы (74,8%), баранину (75,9%), птицу (74,5%), упали цены на капусту (-4,6%), сахар (-5,5%). В Московской области при таком же среднем росте цен больше всего выросли цены на мясо - на говядину (82,6%), свинину (88,6%), баранину (107,6%), упали цены на картофель (- 10%), капусту (- 10%), сахар ( -13,1%), конфеты (-21,1%), минтай (-6,5%), растительное масло (-20,6%) и маргарин (-13%). Приходится констатировать, что вопреки западным учебникам экономики цены растут непропорционально, нет никаких признаков приближения к равновесию.

Временные ряды наименьшей, средней и наибольшей из зарегистрированных по Москве цен 35 продовольственных товаров показывают, что такое понятие, как "цена товара", строго говоря, не корректно. Оно применимо к единственному акту купли-продажи определенного товара в фиксированном месте, в крайнем случае - к актам купли-продажи в определенном магазине, но не к огромному городу в целом. Действительно, зафиксированные нашими сотрудниками цены на один и тот же товар в один и тот же день могут различаться в несколько раз. Так, 26 июня 1996 г. максимальная зафиксированная цена на рис превышает минимальную в 3,04 раза, а на картофель - в 3,13 раза. Аналогичное превышение для баранины 27 декабря 1996 г. равно 2,79. Типовое же превышение максимальной цены над максимальной - в 1,5 раза.

Процесс инфляции частично управляем. Осенью 1996 г. спрогнозированного нами роста цен не произошло, что объясняется гигантским ростом задолженностей по зарплате, пенсиям и другим платежам, а также переходом к государственной экономической политике, которую можно кратко выразить словами: "Ничего никому не платить". В ноябре 1995 г,, перед выборами в Государственную Думу, цены в Москве внезапно упали на 9 %, хотя в ноябре цены обычно растут быстрее, чем в иное время года.

Сопоставления стоимостей потребительских корзин с зарплатой (средней и по отраслям) могут быть сделаны читателями самостоятельно (в соответствии с не раз опубликованной нами методикой, в том числе в четырех изданиях учебника по эконометрике [37 - 40]).

Бесспорно совершенно, что практически любая область экономики имеет дело со статистическим анализом эмпирических данных, а потому имеет те или иные эконометрические методы в своем инструментарии. Например, перспективным направлениям применения этих методов для анализа научного потенциала России посвящена статья [41].

С помощью эконометрических методов следует оценивать различные величины и зависимости, используемые при построении имитационных моделей процессов налогообложения, в частности, функции распределения предприятий по различным параметрам налоговой базы. При анализе потоков платежей необходимо использовать эконометрические модели инфляционных процессов, поскольку без оценки индекса инфляции невозможно вычислить дисконт-функцию, а потому нельзя установить реальное соотношение авансовых и "итоговых" платежей. Прогнозирование сбора налогов может осуществляться с помощью системы временных рядов - вначале по каждому одномерному параметру отдельно, а затем - с помощью эконометрической системы уравнений, дающей возможность прогнозировать векторный параметр с учетом связей между координатами [34].

9. Статистика и эконометрика как области научно-практической деятельности

В настоящее время в классификаторах специальностей научных работников и специальностей, по которым идет подготовка студентов, эконометрика не представлена вообще, а статистика - двумя отдельными позициями: в специальности "теория вероятностей и математическая статистика" как часть математики и как одна из экономических специальностей. Такие практически важные области, как статистические методы в промышленности (в частности, статистические методы управления (обеспечения, повышения) качеством и надежности, технической диагностики, планирования эксперимента, статистические методы в медицине, в экологии, в химии, в геологии, в менеджменте и т.д., и т.п. не представлены в рассматриваемых классификаторах. Можно сказать, что они существуют нелегально, потому что, например, научным работникам при защите диссертаций приходилось и приходится "маскироваться" под другие специальности, например, под специальность 05.13.16 "Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях" (в настоящее время отменена).

Поскольку кадры по статистическим методам и эконометрике не готовятся, то каждый специалист - самоучка, а общее их число на порядок меньше, чем в Великобритании. США и других странах, в которых наука "статистика" рассматривается в одном ряду с математикой, физикой, химией, биологией и др.

Разрыв между математической статистикой и статистикой как экономической дисциплиной обернулся тем, что математики "замкнулись в себе", доказывая теоремы на основе постановок 1930 - 1950 гг. и ничего не давая для анализа реальных данных, а экономисты, помещая математико-статистические методы в свои учебники, но не зная математики, дают непрекращающийся поток ошибок в учебниках [42, 43].

Давно стало ясно, что положение в области статистических методов и эконометрики надо менять [44]. В 1985 - 1990 гг. была проведена большая работа по анализу положения дел в области теории и практики статистики в нашей стране. В итоге в октябре 1990 г. создана Всесоюзная статистическая ассоциация (ВСА) [45]. Как единое целое ВСА после развала СССР перестала действовать, хотя де-юре продолжает существовать, поскольку решение о роспуске ВСА в соответствии с ее Уставом может принять только съезд ВСА. Такого съезда не было.

В соответствии с реальной структурой статистики ВСА делилась на 4 секции: 1) практической статистики, 2) статистических методов и их применений, 3) статистики надежности, 4) социально-экономической статистики. Названия секций, зафиксированные в документах ВСА, не вполне соответствуют действительности. Первая секция состояла из работников Госкомстата, большинство членов второй и третьей занимаются практической деятельностью, в том числе в социально-экономической области (в частности, ведут научные и практические работы по эконометрике), а четвертая состояла из преподавателей статистических дисциплин в рамках экономического образования. Вторая секция (во взаимодействии с третьей) "породила" в 1992 г. Российскую ассоциацию статистических методов, а в 1996 г. - Российскую академию статистических методов.

По ряду исторических причин, проанализированных, например, в статьях [44, 46], отечественная статистика расколота на кланы, практически не взаимодействующие друг с другом. Создание ВСА преследовало, в частности, цель налаживания контактов между секциями 1 и 4, с одной стороны, и секциями 2 и 3, с другой. К сожалению, в обстановке общего развала, наступившей в 1992 г., было не до перестройки теории статистики, ее применений и преподавания.

Однако необходимость налаживания контактов не отпала. Вряд ли можно считать допустимой ситуацию, когда практически в каждом учебнике по "общей теории статистики" даются абсолютно неверные рекомендации по применению критерия Колмогорова, используемого для проверки согласия эмпирического распределения с теоретическим (подробнее см. [42, 43]). Очевидно, необходимы постоянные контакты между специалистами по социально-экономическим применениям статистических методов, с одной стороны, и математической статистике, с другой стороны. Эконометрика находится именно на этом стыке.

10. Эконометрические методы в практической и учебной деятельности

Компьютер на рабочем месте менеджера, экономиста, инженера - давно уже реальность. Практическое применение эконометрических методов обычно осуществляется с помощью диалоговых систем, соответствующих решаемым экономическим и технико-экономическим задачам. Для конкретных наборов задач таких систем разработано уже много, некоторые перечислены в статье [30]. Разработки подобных систем должны быть продолжены. Так, для налоговых служб должны быть разработаны [34] свои системы на базе действующих АИС.

Однако для того, чтобы грамотно применять компьютерную систему, надо иметь некоторые предварительные знания по эконометрике. В отсутствии подобных знаний у подавляющего большинства российских экономистов и инженеров, в том числе у менеджеров - директоров предприятий, государственных служащих, в том числе, например, работников налоговых органов, - основная проблема. Лицо, ничего не знающее об эконометрике, не в состоянии понять, что эта научно-практическая дисциплина может помочь решить проблемы его организации, а потому ему и в голову не приходит пригласить бригаду эконометриков к сотрудничеству.

Поэтому надо широко преподавать эконометрику. Без этого разработанные для нужд организаций и предприятий имитационные компьютерные модели на основе эконометрических методов останутся омертвленным капиталом, не будут грамотно использоваться. Но не следует сосредотачиваться лишь на подготовке специалистов по разработке эконометрических методов, умеющих доказывать теоремы и писать программы. Прежде всего нужны пользователи, понимающие, для решения каких задач годится тот или иной эконометрический метод, какая нужна исходная информация, как интерпретировать выдаваемые компьютером результаты.

Современное обучение эконометрическим методам возможно лишь при использовании компьютерных систем статистического анализа, включающих, в частности, методы статистики объектов нечисловой природы. Большой интерес у студентов вызывает использование конкретных эконометрических данных, например, таких: на март 1996 г. индекс инфляции составил, по нашим данным, 12000 (по сравнению с мартом 1991 г.), следовательно, средняя начисленная зарплата по стране (740 тыс.руб.) в ценах марта 1991 г. равна 62 руб., т.е. за 5 лет уменьшилась в 5 раз (сознательно избегаем данных о современном состоянии).

Эконометрические методы - эффективный инструмент в работе менеджера и инженера, занимающегося конкретными проблемами, и задача высшей школы - дать его в руки выпускников экономических и технических специальностей. Кроме теоретических знаний, менеджеры и инженеры должны иметь практические инструменты - сделанные на основе современных достижений эконометрической науки компьютерные системы, предназначенные для анализа статистических данных и построения эконометрических моделей конкретных экономических и технико-экономических явлений и процессов. Наше представление об эконометрике как учебной дисциплине отражено в учебнике "Эконометрика", выпущенном четырьмя изданиями [37 - 40].

Литература

1. Воробьев В.А., Тубис Я.Б. Система дистанционного контроля температуры и защиты асинхронных двигателей // Приводная техника. 1998. No. 4(11). С.43-44.

2. Федосеев В.Н., Ростецкая Е.В. Особенности управления проектами создания типоразмерных рядов изделий машиностроения // Современный менеджмент в условиях становления рыночной экономики в России. Тезисы докладов Всероссийской научно-практической конференции. - М.: МГТУ им. Н.Э.Баумана, 1998. - С.109-112.

3. Грачева К.А., Одинцова Л.А., Слепушкин Ю.Н. Потенциал производственных мощностей поточных линий // Современный менеджмент в условиях становления рыночной экономики в России. Тезисы докладов Всероссийской научно-практической конференции. - М.: МГТУ им. Н.Э. Баумана, 1998. - С.29-30.

4. Орлов А.И. Нечисловые экономические величины и управление инвестиционным процессом // Современный менеджмент в условиях становления рыночной экономики в России. Тезисы докладов Всероссийской научно-практической конференции. - М.: МГТУ им. Н.Э.Баумана, 1998. - С.74-76.

5. Долан Э.Дж., Линдсей Д.Е. Рынок: микроэкономическая модель. - СПб: СП"Автокомп", 1992. - 496 с.

6. Орлов А.И. Современная прикладная статистика // Заводская лаборатория. Диагностика материалов. 1998. Т.64. No. 3. С. 52-60.

7. Чендов Б.С. Бесконечность в математике: философские и исторические аспекты / Под ред. А. Г. Барабашева; МГУ и др. -М.: Янус-К, 1997. - 399 с.

8. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика (СНИМ) - перспективное направление теоретической и вычислительной математики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. No. 91. С. 163-215.

9. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.

10. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч. 1. Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. - 541 с.

11. Орлов А.И. О развитии статистики объектов нечисловой природы // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. No. 93. С. 41-50.

12. Орлов А.И. Оценка инфляции по независимой информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. No. 108. С. 259-287.

13. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

14. Леонтьев В. Экономические эссе. Теория, исследования, факты и политика: Пер. с англ. - М.: Политиздат, 1990. - 415 с.

15. Моргенштерн О. О точности экономико-статистических наблюдений. - М.: Статистика, 1968. - 324 с.

16. Орлов А.И. Основные проблемы контроллинга качества // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. No. 111. С. 20-52.

17. Ованесов А., Четвериков В. Поток платежей. Будьте осторожны с усредненными характеристиками! // Рынок ценных бумаг. 1996. No. 21. С. 39-42.

18. Виленский П.Л., Лившиц В.Н., Смоляк С.А. Оценка эффективности инвестиционных проектов. Теория и практика. 4-е изд., перераб. и доп. - М.: Дело, 2008. - 1104 с.

19. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

20. Орлов А.И. Теория нечетких множеств - часть теории вероятностей // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. No. 92. С. 51-60.

21. Бурков В.Н., Новиков Д.А. Как управлять проектами. - М.: СИНТЕГ-ГЕО, 1997. - 188 с.

22. Орлов А.И. Статистика объектов нечисловой природы // Заводская лаборатория. Диагностика материалов. 1990. Т. 56. No. 3. С.76-83.

23. Орлов А.И. Экспертные оценки // Заводская лаборатория. Диагностика материалов. 1996. Т.62. No. 1. С.54-60.

24. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с.

25. Орлов А.И. Теория экспертных оценок в нашей стране // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. No. 93. С. 1-11.

26. Орлов А.И. Интервальный статистический анализ // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Пермский государственный университет, 1993. - С.149-158.

27. Орлов А.И. Основные идеи статистики интервальных данных // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. No. 94. С. 55-70.

28. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.

29. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 574 с.

30. Орлов А.И. Сертификация и статистические методы // Заводская лаборатория. Диагностика материалов. 1997. Т.63. No. 3. С.55-62.

31. Орлов А.И. Метод проверки гипотез по совокупности малых выборок и его применение в теории статистического контроля // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. No. 104. С. 38-52.

32. Орлов А.И. Всегда ли нужен контроль качества продукции у поставщика? // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. No. 96. С. 709-724.

33. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.

34. Математическое моделирование процессов налогообложения (подходы к проблеме) / Коллективная монография под ред. Н.Ю. Ивановой, А.И. Орлова и др. - М.: ЦЭО Минобразования, 1997. - 232 с.

35. Жихарев В.Н., Орлов А.И., Цупин В.А. Анализ динамики цен на продовольственные товары в Москве и Московской области // Научные труды Рижского института мировой экономики. Вып.2. - Рига: РИМЭ, 1997, с.19-25.

36. Куликова С.Ю., Муравьева В.С., Орлов А.И. Контроллинг уровня потребительских цен и прожиточного минимума // Материалы II  Международной научно-практической конференции по контроллингу. / Под науч. ред. С.Г. Фалько. - М.: НП "Объединение контроллеров", 2012. - С. 37 - 47.

37. Орлов А.И. Эконометрика: Учебник для вузов. - М.: Экзамен, 2002. - 576 с.

38. Орлов А.И. Эконометрика: Учебник для вузов. Изд. 2-е, испр. и доп. - М.: Экзамен, 2003. - 576 с.

39. Орлов А.И. Эконометрика: Учебник для вузов. Изд. 3-е, испр. и доп. - М.: Экзамен, 2004. - 576 с.

40. Орлов А.И. Эконометрика: Учебник для вузов. Изд. 4-е, доп. и перераб. - Ростов-на-Дону: Феникс, 2009. - 572 с.

41. Нечаева Е.Г., Орлов А.И., Соколов А.В. Статистика объектов нечисловой природы и анализ данных о научном потенциале. // Социология: методология, методы, математические модели. 1995. No.No. 5-6. С.118-136.

42. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. Диагностика материалов. 1985, т.51, No. 1, с.60-62.

43. Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. No. 97. С. 32-45.

44. Орлов А.И. О перестройке статистической науки и ее применений // Вестник статистики, 1990, No. 1, с.65-71.

45. Орлов А.И. Создана единая статистическая ассоциация // Вестник Академии наук СССР. 1991. No.7. С.152-153.

46. Орлов А.И. Прикладная статистика - "Золушка" научно-технической революции // Международная газета "Наука и технология в России". 1994. No. 1(3). С.13-14.

Публикация:

Орлов А.И.  Современные эконометрические методы - интеллектуальные инструменты инженера, управленца и экономиста  / Орлов А.И. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - No.02(116).  - IDA [article ID]: 1161602033. - Режим доступа: ej.kubagro.ru, 1,938 у.п.л.

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!


В избранное