Отправляет email-рассылки с помощью сервиса Sendsay

Эконометрика

  Все выпуски  

Эконометрика - выпуск 993


"Эконометрика", 993 выпуск, 3 февраля 2020 года.

Электронная газета кафедры "Экономика и организация производства" научно-учебного комплекса "Инженерный бизнес и менеджмент" МГТУ им.Н.Э. Баумана. Выходит с 2000 г.

Здравствуйте, уважаемые подписчики!

*   *   *   *   *   *   *

Проблемам применения статистических и экспертных методов наукометрии при управлении научной деятельностью посвящена статья А.И. Орлова.

К созданию Комитета Спасения Планеты для спасения от экологических угроз призывает доктор физико-математических наук Людмила Кузьминична Фионова в письме "Земля нас просто всех сбросит".

Все вышедшие выпуски доступны в Архиве рассылки по адресу subscribe.ru/catalog/science.humanity.econometrika.

*   *   *   *   *   *   *

Статистические и экспертные методы наукометрии при управлении научной деятельностью

Александр Иванович Орлов

Московский государственный технический университет им. Н.Э. Баумана

Statistical and expert methods of the scientometrics in the management of scientific activities

Alexander Ivanovich ORLOV

professor, doctor of econ. sciences, doctor of techn. sciences, cand. of physical and mathematical sciences, head of Laboratory of economic and mathematical methods in controlling of research and education center "Controlling and managerial innovations", full professor of BMSTU, Moscow, Russian.

Резюме. В статью включены новые (биокосмологические) наработки по науковедению и наукометрии, выполненные в рамках контроллинга научной деятельности - важной составной части контроллинга организационно-экономических методов. Оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. В статье приведен перечень основных положений разрабатываемой нами новой области контроллинга - контроллинга научной деятельности. Доказано, что ключевой показатель результативности научной деятельности - число цитирований. Проанализированы распространенные заблуждения, связанные с оценкой эффективности научной деятельности.

Ключевые слова: Аристотель, наука, управление, контроллинг, информационно-коммуникационные технологии, цифровая экономика, наукометрия, статистические методы, показатели продуктивности и результативности, экспертные оценки.

Abstract: The article includes new (bio-cosmological) developments in the science of science and scientometrics, carried out as part of controlling of scientific activities, an important part of controlling of organizational and economic methods. Estimation of the productivity and effectiveness (potency, fecundity, performance) of scientific activity is carried out everywhere in universities and research organizations. Here is a list of the main provisions of the new field of controlling that we are developing - controlling of scientific activities. Let us prove that the key indicator of scientific performance is the number of citations. Let us analyze common misconceptions associated with the estimation of the effectiveness of scientific activity.

Keywords: Aristotle, science, management, controlling, information and communication technologies, digital economy, scientometrics, statistical methods, indicators of productivity and effectiveness, expert estimators.

Содержание

1. Аристотель - отец науки

2. Контроллинг - наука о современных технологиях управления

3. Контроллинг организационно-экономических методов

4. Новая область контроллинга - контроллинг научной деятельности

5. Распространенные догмы

6. Показатели продуктивности и результативности научной деятельности

7. Позиция по ряду часто обсуждаемых вопросов

8. Экспертные методы наукометрии, применяемые при управлении научной деятельностью

Выводы

Table of contents

1. Aristotle - the father of science

2. Controlling - the science of modern management technologies

3. Controlling of organizational and economic methods

4. New area of controlling - controlling of scientific activities

5. Common dogmas

6. Indicators of the productivity and effectiveness of scientific activity

7. Position on a number of frequently discussed issues.

8. Expert methods of scientometrics used in the management of scientific activities

Conclusions

Synopsis

It is generally recognized that Aristotle is the father of modern European and world knowledge and science. It is difficult to name at least one branch of science that would not find the beginning of Aristotle. Many of the ideas of Aristotle, relating to the analysis of the internal structure of science, are still very relevant. New in comparison with the times of Aristotle is a huge number of workers of science and their accumulated scientific results. If Aristotle could personally know his contemporary scientists, now it is impossible. As a result, each of us is familiar with only a small part of publications and people related to his subject. Therefore, the main problem of modern science is the general ignorance of scientific workers.

Problems of scientific management are relevant both for researchers and administrators at various levels. We offer to solve the problems of scientific management to use the most advanced management technology - controlling. Controlling is a system of information and analytical support for the process of making management decisions in an organization. We consider it useful for the successful development of scientific research to single out a new area of controlling (or a new direction of controlling) - controlling of scientific activities. To substantiate this distinction, it is necessary to discuss controlling in general and its integral part - controlling methods. Then we consider the main points of controlling of scientific activity developed by us, paying attention to the criticism of common dogmas. We conclude the article with some recommendations for improving the management of scientific activities in universities and research institutes arising from the controlling of scientific activities.

Innovations in the field of management in industry and other sectors of the national economy are based, in particular, on the use of new, adequate organizational and economic methods. Controlling in this area is the development of procedures for managing the compliance of the organizational and economic methods used and the newly created (implemented) with the tasks.

Scientometrics (literally: measurements in science) is a field of knowledge that studies science through statistical and expert studies of the structure and dynamics of scientific activity. Scientometrics as part of the science of science is the basis for making management decisions in the field of scientific management. The main provisions of scientometrics were formulated by V. V. Nalimov and Z. M. Mulchenko back in 1969. By now applied scientometrics has been enriched with a large number of tools using various information and communication technologies, in particular, big data technology. An example is the Russian Science Citation Index (RISC).

However, a variety of dogmas are common, leading to unreasonable management decisions that are detrimental to the development of scientific research. For example, individuals consider publications in scientific journals as the main type of scientific publications; believe in the real existence of "world science"; give priority to publications in foreign journals indexed in the WoS and Scopus bibliometric databases; wwithout any justification, the Hirsch index is considered as the main scientometric indicator; negatively refer to self-citations; ignore publications older than 5 years, in particular, when calculating the impact factors of journals, etc.

We will highlight applied science, when research is done in the interests of a specific customer, and basic science, aimed at increasing knowledge. In applied science, publication of the results obtained in the open press is not the goal and is not always advisable, in particular, because of the need to respect commercial and state secrets. In fundamental science, on the contrary, the result of the research is the publication, and its estimation is the demand of the scientific community, expressed in the number of citations in further works.

A critical analysis of expert methods of scientometrics is given. We consider four types of methods: reviewing articles, the work of dissertation councils, appointments (elections) to administrative posts, elections to the RAS.

It is necessary to jointly apply statistical and expert methods of scientometrics in the management of scientific activities, getting rid of the archaic.

Реферат

Общепризнанно, что Аристотель - отец современного европейского и мирового знания, науки. Трудно назвать хоть одну отрасль науки, которая не находила бы начало у Аристотеля. Многие идеи Аристотеля, относящиеся к анализу внутренней структуры науки, являются и сейчас весьма актуальными. Новым по сравнению с временами Аристотеля является огромное количество работников науки и ими накопленных научных результатов. Если Аристотель мог лично знать современных ему ученых, то ныне это невозможно. Как следствие, каждый из нас знаком лишь с малой долей публикаций и людей, относящихся к его тематике. А потому основная проблема современной науки - всеобщее невежество научных работников.

Проблемы управления научной деятельностью актуальны как для исследователей, так и для администраторов различных уровней. Предлагаем для решения проблем управления научной деятельностью использовать наиболее передовую управленческую технологию - контроллинг. Контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих решений в организации. Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения разрабатываемого нами контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.

Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам.

Наукометрия (буквально: измерения в науке) - область знания, занимающаяся изучением науки путем статистических и экспертных исследований структуры и динамики научной деятельности. Наукометрия как часть науковедения служит основой для принятия управленческих решений в области управления научной деятельностью. Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г. К настоящему времени прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных. Примером является Российский индекс научного цитирования (РИНЦ).

Однако распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред развитию научных исследований. Например, отдельные лица считают публикации в научных журналах основным видом научных публикаций; верят в реальное существование "мировой науки"; отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus; основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша; отрицательно относятся к самоцитированию; игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.

Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является целью и не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является именно публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах.

Дан критический анализ экспертных методов наукометрии. Рассматриваем четыре вида методов: рецензирование статей , работа диссертационных советов, назначения (выборы) на административные должности, выборы в РАН.

Необходимо совместно применять статистические и экспертные методы наукометрии при управлении научной деятельностью, избавляясь от архаики.

ОСНОВНОЕ СОДЕРЖАНИЕ СТАТЬИ

1. Аристотель - отец науки

Общепризнанно, что Аристотель - отец современного европейского и мирового знания, науки. Трудно назвать хоть одну отрасль науки, которая не находила бы начало у Аристотеля.

Как такового слова "наука" у Аристотеля нет, хотя имеется его древнегреческий аналог. Речь в его трудах идет о знании ("эпистеме") и о размышлении ("дианойа"), а также о мудрости ("софиа"), которая заключает в себе оба эти момента. Но поскольку одним из главных признаков мудрости является способность научить кого-то чему-то, то аристотелевские "мудрость" и "знание" для целей настоящей статьи можно считать эквивалентами нашего слова "наука".

О Биокосмологии, Аристотелизме и перспективах становления универсальной науки и философии писал К.С. Хруцкий [2010] в редакционной статье первого номера журнала "Биокосмология - нео-Аристотелизм": "В познавательной системе Аристотеля, его физика (вторая философия) и метафизика (или первая философия, у Аристотеля) ... имеют принципиально однородное значение, различаясь лишь по степени обобщения эмпирически достоверного материала, отражающего единый целостный органический универсальный мир (космос). Это означает, что философская система Аристотеля (в ее истинном значении) обеспечивает осуществление реалистического универсального (Органицистского) познания, выступая необходимым основанием для объединения современных сциентистской и гуманитарной парадигм (расцениваемых в настоящем как полностью несовместимых). Поэтому, наш (Биокосмологический - нео-Аристотелевский) исследовательский подход имеет прямое отношение ко всем разделам философии и науки. Однако его стартовой позицией всегда является космологическое прояснение предмета исследования. В случае необходимости, также осуществляется в полной мере выяснение условий метафизического, гносеологического, методологического, аксиологического и праксиологического познания исследуемого вопроса. Все это является необходимым для решения вопросов эффективной социокультурной организации и развития; и, в конечном итоге, -для реализации вопросов индивидуального здоровья (благополучия) каждого человека на всем протяжении ее/его жизни (онтогенеза)".

Присоединяемся к словам того же автора [Хруцкий, 2019]: "... решительно настало время для осуществления смены курса (shift) в отношении к используемым основаниям научной деятельности; прежде всего - чтобы вернуть (официально признать для научной теории и практики) значение принципов рационального (научного) знания, заложенных в текущей мировой истории гением Стагирита - в первую очередь, включая его принципы Динамизма, Гилеморфизма и Энтелехизма природных субъектов, и их субстантивной Целе-движимой активности".

Многие идеи Аристотеля [1983], относящиеся к анализу внутренней структуры науки, являются и сейчас весьма актуальными. Новым по сравнению с временами Аристотеля является огромное количество работников науки и ими накопленных научных результатов. Если Аристотель мог лично знать современных ему ученых, то ныне это невозможно. Как следствие, каждый из нас знаком лишь с малой долей публикаций и людей, относящихся к его тематике. А потому основная проблема современной науки - всеобщее невежество научных работников.

Обсудим ряд актуальных вопросов науки о научной деятельности, т.е. науковедения. В настоящее время научной деятельностью (наукой и научным обслуживанием) занимаются многие миллионы работников. На 12.07.2019 в Российском индексе научного цитирования зарегистрированы 936586 авторов научных публикаций, т.е. почти миллион. Эта сфера деятельности (кратко -наука) заслуживает тщательного изучения.

Проблемы управления научной деятельностью актуальны как для исследователей, так и для администраторов различных уровней. Исследователь заинтересован в выявлении перспективных направлений науки, в ответах на вопросы типа "кто есть кто". Администраторы распределяют ресурсы, формируют программы развития исследователей и выполняющие их коллективы. Предлагаем для решения проблем управления научной деятельностью использовать наиболее передовую управленческую технологию - контроллинг.

2. Контроллинг - наука о современных технологиях управления

Сначала кратко обсудим научную область под названием "контроллинг".

Начнем с определения используемых терминов. Исходим из определения основоположника контроллинга в нашей стране проф. С.Г. Фалько: "Контроллинг - это ориентированная на перспективу и основанная на измерении факта система информационно-аналитической и методической поддержки менеджмента в процессе планирования, контроля, анализа и принятия управленческих решений, обеспечивающая координацию и интеграцию подразделений и сотрудников по достижению поставленных целей" [Фалько, 2005]. Короче говоря, контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих решений в организации. Если эта организация - научная, то речь идет о контроллинге науки.

Приведем еще одну формулировку С.Г. Фалько: "Сегодня контроллинг в практике управления российских предприятий понимается как "система информационно-аналитической и методической поддержки по достижению поставленных целей"". Таким образом, контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. В литературе используются и многие другие определения контроллинга, но несмотря на различие используемых слов смысл остается тем же. Данное выше определение является наиболее распространенным. В перечне определений понятия "контроллинг" известный специалист в этой области В.С. Чугунов [2017] приводит его первым.

В современных условиях научное направление "Контроллинг" выделяется не только своей активностью, но и быстрым интенсивным и экстенсивным ростом. Расширяется многообразие конкретных областей применения концепций контроллинга, разрабатываются новые интеллектуальные инструменты контроллинга [Орлов, 2016].

В настоящее время часто используют скрытый контроллинг, т.е. системы информационно-аналитической поддержки процесса принятия управленческих решений в организации без использования термина "контроллинг". В таких случаях мы предлагаем говорить о "контроллинге под псевдонимами" [Орлов, 2018]. Так, работы по информационно-аналитической поддержке процесса принятия управленческих решений в организациях проводились с давних времен, задолго до появления термина "контроллинг". Например, для принятия решений в военной области необходима информация о числе военнообязанных. О переписи военнообязанных рассказано в Ветхом Завете в Четвертой книге Моисеевой "Числа". При обсуждении этой переписи уместно использовать термины "статистические методы", "эконометрика", "контроллинг", однако самих этих появившихся значительно позже терминов нет в Библии.

Однако и после появления рассматриваемых терминов они не всегда используются. В одних организациях действуют службы контроллинга, в других информационно-аналитические подразделения носят иные названия, ведущие свое происхождение, например, от контрольных органов, аналитических центров и отделов по разработке и эксплуатации автоматизированных систем управления.

Псевдонимы используют не только для контроллинга. Например, термин "эконометрика" стал применяться в России начиная с 1990-х годов, хотя работы, посвященные статистическим методам в экономике и управлении (т.е. эконометрике в современном понимании), весьма активно велись еще в XIX в. [Орлов, 2016а]. За рубежом термин появился раньше, чем у нас, но не намного - в ХХ в. В 1930 г. в США было создано первое международное эконометрическое общество. С 1933 г. стал издаваться журнал "Econometrica" - первый журнал, в названии которого есть этот термин. В 1941 г. выпущен первый учебник по эконометрике, автором которого был Я. Тинберген (1913-1994), в будущем - первый эконометрик, получивший нобелевскую премию по экономике (1969).

По нашему мнению, подходы современного контроллинга могут и должны с успехом использоваться в любой конкретной области. С развитием работ возникает новое направление научной и практической деятельности под названием "контроллинг такой-то области". В настоящей статье в качестве конкретной области рассмотрим научную деятельность. Как известно, для управления научной деятельностью в высших учебных заведениях и научно-исследовательских организациях администраторы используют различные показатели и процедуры, причем зачастую неадекватно. Контроллинг научной деятельности позволяет подойти к технологиям управления в этой области с научной точки зрения.

Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения разрабатываемого нами контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.

3. Контроллинг организационно-экономических методов

Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону - используемые ими организационно-экономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями и организациями других отраслей народного хозяйства, в частности, вузами и научно-исследовательскими институтами. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение - организационная (управленческая) инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций.

В работе [Орлов, 2008] мы обосновываем выделение в контроллинге новой области - контроллинг методов - и обсуждаем содержание этой области. Речь идет прежде всего об организационно-экономических методах. По нашему мнению, следует говорить не только и не столько о методах, сколько об инструментах контроллинга, прежде всего математических (или, точнее, экономико-математических, учитывая направленность на решение задач экономики и управления) [Орлов, 2016]. Впрочем, обсуждение содержания терминов "метод" и "инструмент" не входит в задачи настоящей статьи.

Необходимость принятия обоснованных управленческих решений возникает в самых разных областях человеческой деятельности. Правила принятия таких решений - компетенция структур контроллинга, даже если они действуют под другими названиями.

В лаборатории экономико-математических методов в контроллинге Научно-образовательного центра "Контроллинг и управленческие инновации" МГТУ им. Н.Э. Баумана проведены исследования в области контроллинга (явного и скрытого) в ряде научных и прикладных областей [Орлов, 2018]. В частности, рассмотрены проблемы контроллинга рисков, научной деятельности, персонала, качества продукции и услуг, организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли, экологической безопасности, контроллинга агропромышленного комплекса. Методы принятия управленческих решений во всех перечисленных областях имеют много общего.

4. Новая область контроллинга - контроллинг научной деятельности

Перейдем к обсуждению одной из перечисленных областей исследований - контроллингу науки (научной деятельности). В настоящее время оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и научных организациях. Поэтому контроллинг инструментов управления научной деятельностью (как составная часть контроллинга организационно-экономических методов) представляет как теоретический, так и практический интерес [Орлов, 2019].

Мы с 1970-х годов занимаемся разработкой ряда проблем контроллинга науки. Конкретные результаты приведены в многочисленных статьях, прежде всего выпущенных начиная с 2013 г. Промежуточные итоги подведены в совместной монографии 2017 г. [Лойко и др.] и статье [Орлов, 2017]. Рецензия [Москалева, 2017] на эту монографию интересна тем, что в ней дан перечень основных положений разрабатываемого нами контроллинга научной деятельности. Обсудим этот перечень.

Наукометрия (буквально: измерения в науке) - область знания, занимающаяся изучением науки путем статистических и экспертных исследований структуры и динамики научной деятельности. Наукометрия как часть науковедения служит основой для принятия управленческих решений в области управления научной деятельностью. Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г. [Налимов, Мульченко, 1969]. По нашей оценке, с тех пор в теоретической наукометрии единственным заметным, но сомнительным новшеством является появление так называемого "индекса Хирша". Этот показатель предложен в 2005 году аргентино-американским физиком Хорхе Хиршем из Калифорнийского университета в Сан-Диего первоначально для оценки научной продуктивности физиков. Автор (или коллектив), опубликовавший N работ, имеет индекс Хирша h, если h из его публикаций цитируются как минимум h раз каждая, в то время как оставшиеся (N - h) работ цитируются не более чем h раз каждая. Таким образом, индекс Хирша - это некоторая характеристика центральной тенденции (т.е. средняя величина) для количеств ссылок на отдельные работы рассматриваемого автора (или коллектива). Неясно, чем индекс Хирша лучше средней цитируемости, т.е. частного от деления числа цитирований на число публикаций.

Однако за полвека с момента появления монографии В. В. Налимова и З. М. Мульченко [Налимов, Мульченко, 1969] прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных (big data). Примером является Российский индекс научного цитирования (РИНЦ). Развитие цифровой экономики [Орлов, 2019а] расширило возможности наукометрии.

Как известно, наукометрические данные широко используют при управлении научной деятельностью, коллективами НИИ и вузов. Однако такое использование не всегда является обоснованным. К сожалению, к ошибочным решениям приводят распространенные догмы в области управления научной деятельностью. Данное ниже обсуждение этих догм основано как на проведенных исследованиях, так и на личном опыте исследователя. Согласно РИНЦ, автор настоящей работы - один из наиболее цитируемых отечественных ученых по направлениям "Математика" и "Экономика. Экономические науки". Согласно В.В. Налимову, вклад ученого в фундаментальную науку оценивается числом цитирований его работ.

5. Распространенные догмы

Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред развитию научных исследований. Например, отдельные лица:

- считают публикации в научных журналах основным видом научных публикаций;

- верят в реальное существование "мировой науки";

- отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus;

- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;

- отрицательно относятся к самоцитированию;

- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.

(Поясним последнее понятие на примере. Если импакт-фактор журнала за 2018 год равен 2, значит, опубликованные в нем в 2016 и 2017 годах статьи цитировались в 2018 году в среднем по 2 раза. Базовый период в 2 года иногда заменяют на более длинный - 5 лет. Одна из вредных догм состоит в том, что импакт-фактор - это численный показатель важности научного журнала. Эта догма ориентирует на скороспелый эффект. Между тем фундаментальные работы имеют продолжительный "срок жизни", цитируются через много лет и десятилетий. Например, как показано в [Кудлаев, Орлов], статьи А.Н. Колмогорова 1930-х годов отнюдь не потеряли актуальности. Как и книги Н.Ф. Чарновского по организации производства, выпущенные в 1911 - 1927 гг.

Опубликовать статью на английском языке за рубежом - это возможность продемонстрировать начальству, как ценят автора этой статьи во всем мире. И совсем неважно, что для соотечественников знакомство с этой статьей будет затруднено - как из-за трудностей при обращении к журналу, так и из-за языковых проблем. Зато специалисты в англосаксонских странах, являющихся геополитическими конкурентами нашей страны, совершенно бесплатно получают в свое распоряжение научные результаты, найденные на деньги российских налогоплательщиков.

Кому выгодна глобализация? В современных условиях - геополитическим конкурентам России. Патриотизм означает, что заботиться надо прежде всего о своей стране, а не о геополитических конкурентах.

6. Показатели продуктивности и результативности научной деятельности

На основе каких величин целесообразно принимать решения при управлении научной деятельностью, в частности, при распределении финансирования? При ответе на этом вопрос будем исходить из общих положений контроллинга.

Как разъясняет С.Г Фалько: "В экономике под показателями понимают абсолютные и относительные величины, а также их совокупности, которые отражают явления хозяйственной деятельности предприятия. Если мы хотим узнать что-то о конкретном явлении, то мы измеряем некоторые его свойства... Таким образом, показатели, а также их совокупности выступают в качестве измерителей. Процесс измерения осуществляется при помощи измерительной системы, разрабатываемой службой контроллинга предприятия" [Фалько, 2008, с.106].

Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является целью и не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является именно публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах. В настоящей статье рассматриваем фундаментальную науку и изучаем ее как информационный процесс [Налимов, Мульченко].

Обсудим часто используемые показатели продуктивности и результативности научной деятельности. Это - ключевые показатели результата научной деятельности, по аналогии с популярными в менеджменте KPI, т.е. "key performance indicators", по-русски КПЭ - ключевыми показателями эффективности.

Основной показатель продуктивности - число публикаций. Варианты - учет видов публикаций и их объемов. Ясно, продуктивность определяется активностью автора, иногда - его административным положением, но не влиянием на развитие науки. Очевидно, нельзя оценивать научную деятельность только по числу публикаций.

Ключевой показатель результативности - число цитирований. Если работу цитируют - значит, она нужна научному сообществу. Согласно основополагающей работе [Налимов, Мульченко] результативность научной деятельности необходимо оценивать по числу цитирований и использовать этот показатель при принятии управленческих решений. Хорошо известны возмущающие факторы, которые могут исказить этот показатель. Так, с помощью административных методов можно его несколько завысить. Можно заметно исказить индекс Хирша [Луценко, Орлов, 2016]. Однако анализ данных РИНЦ показывает, что искажения мало влияют на общую картину.

Обсудим некоторые широко распространенные догмы. Управление наукой на основе числа публикаций в рецензируемых журналах (именно в журналах!) и индексов цитирования в журналах объективно замедляет развитие науки, переход полученных результатов в область практического применения, поскольку замедляет выход монографий и учебников. Действительно, как только научный результат попадает в учебник, ссылаться начинают на этот учебник, а не на исходные статьи, и наукометрические показатели автора результата перестают расти (если учитывать только журнальные ссылки). Зачем же тратить силы на написание учебника?

Публикации в научных журналах являются наименее значимым типом научных публикаций. Естественная цепочка развития научного результата такова: тезисы доклада - тематический сборник - монография - учебник - широкое использование. Для развития нового направления публикации в научных журналах, вообще говоря, не нужны. Эти положения подтверждает история развития таких направлений (автор настоящей статьи активно участвовал в создании этих направлений), как статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) и теория экспертных оценок. Ясно, что издание собственных журналов или завоевание позиций в уже существующих возможно лишь на этапе зрелости нового направления, но не на этапе его создания.

Необоснованность некоторых широко распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1% (ссылок не даем, чтобы не пропагандировать недостойные работы и их авторов). Однако в указанную базу включено более 6000 американских журналов и только около 200 - российских (а только в "списке ВАК" - несколько тысяч журналов). Чему же удивляться - просматривается один российский журнал на 30 американских! Если сделать естественную поправку - умножить на 30 - то получим, что оценка доли России - 30%, что вполне сопоставимо с американской долей (28,7 %).

"Мировая наука" - это миф. Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание "мировой науки" - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны. О реальной роли "мировой науки" размышляет проф. С.Н. Гринченко [2014].

На основе опыта многих исследователей констатируем, что для успешного ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников - зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке. Известно, что начать и провести исследование можно "с нуля", без анализа литературных источников. Так, великий физик Л.Д. Ландау физические журналы не читал [Воспоминания, 1988]. Он проводил исследования "с нуля".

7. Позиция по ряду часто обсуждаемых вопросов

В последние годы интерес к проблемам управления наукой заметно вырос. Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. Кратко сформулируем нашу позицию по ряду часто обсуждаемых вопросов.

Отметим полезность и необходимость самоцитирования. Подчеркнем, что активное самоцитирование научных организаций и научных сотрудников - показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. Действительно, только начинающий исследователь в своей первой публикации не может на себя сослаться. По мере продвижения исследований в выбранном направлении уменьшается значение чужих работ, зато резко увеличивается необходимость ссылок на свои публикации. Во-первых, с целью опоры на ранее полученные результаты. Во-вторых, с целью демонстрации связи своих новых результатов со старыми. С самоцитированием не следует бороться, его надо поощрять.

Тезис В.В. Налимова о большом значении "незримых коллективов" [Налимов, Мульченко] приводит к неизбежности и праве на существование "региональной науки" и заключению о снобизме "столичной науки". Понятие "мусорных журналов", т.н. "мурзилок", пропагандируется загнившей частью научного сообщества с целью принижения значения новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения - переключение потока направляемых в печать статей и соответствующих финансовых потоков на академические центры, в настоящее время быстро теряющие свои творческие потенции.

Объем накопленной научной информации на много порядков превышает возможности творческого освоения информации отдельным исследователем. Как следствие, основная проблема современной науки состоит во всеобщем невежестве научных работников, о чем уже шла речь выше. Современные информационно-коммуникационные технологии, в частности, методы анализа больших данных, лишь частично позволяют справиться с этой проблемой [Лойко и др., 2018].

Подходы к управлению научной деятельностью на основе современной наукометрии достаточно подробно и всесторонне проанализированы в монографии [Лойко и др., 2017]. Здесь мы сосредоточились на вопросах контроллинга научной деятельности.

8. Экспертные методы наукометрии, применяемые при управлении научной деятельностью

Экспертные методы основаны на сборе и анализе мнений людей [Орлов, 2011]. Именно экспертные методы используются на практике при управлении научной деятельностью. Статистические данные лишь учитываются, хотя сфера их применения растет. Если списки публикаций используются с давних времен, число цитирований стало возможным применять при управлении лишь в текущем веке, опираясь на достижения цифровизации, а именно, систем типа РИНЦ, основанных на сплошном просмотре информационных ресурсов (т.е. на методологии больших данных).

Какие методы предпочтительнее в конкретных ситуациях - статистические или экспертные? Этот вопрос заслуживает подробного обсуждения.

Обсудим экспертные методы наукометрии. Рассмотрим четыре вида методов: рецензирование статей , работа диссертационных советов, назначения (выборы) на административные должности, выборы в РАН.

Как уже говорилось, основная проблема современной науки - всеобщее невежество научных работников, вызванное огромным объемом накопленных научных результатов. Для решения этой проблемы построена система формальных или неформальных научных кланов (сообществ). Члены клана знают и поддерживают друг друга, выработали общие взгляды на научные проблемы, имеют базовые организации, научные журналы, проводят международные и всероссийские конференции и т.п. А также создали систему проверки "свой - чужой". Именно эта система прежде всего проявляется при рецензировании статей. Работы лиц из своего клана получают положительные рецензии, иногда с указанием на необходимость устранения опечаток. А работы "чужих" отклоняются под благовидными предлогами. Как следствие, информация о новых научных результатах не распространяется, развитие науки тормозится. Система рецензирования нужна лишь утвердившимся кланам для поддержания своего монопольного положения. Целесообразно отказаться от обязательного рецензирования. Впрочем, де-факто это уже происходит.

Диссертационные советы позволяют осуществлять контакты между различными кланами. Подготовка диссертаций полезна для развития профессиональных навыков молодых ученых. Однако сама процедура защиты в России - архаика. Стандартная продолжительность процедуры защиты - два часа. Диссертация лежит невостребованной. Впрочем, это естественно - члену диссертационного совета нереально познакомиться с текстом диссертации за время защиты. Особенно возмущает, что по правилам защиты нельзя исправить ошибки и недостатки диссертации, выявленные при защите.

Назначения (выборы) на административные должности в научных организациях и высших учебных заведениях проводятся на основе мнений людей, т.е. экспертных оценок. Администраторы занимаются управлением, в то время как предполагается, что у них есть значительные достижения в науке. Это - архаическое предположение, от него надо избавляться.

Архаикой является и восприятие Российской академии наук (РАН) как центра научной деятельности в России. На самом же деле члены РАН занимает довольно скромное место среди наиболее продуктивных ученых, как видно по данным Российского индекса научного цитирования (РИНЦ). В этом нет ничего удивительного - результаты выборов в РАН определяются борьбой кланов, а не научными достижениями. Например, на 14.07.2019 в РИНЦ зафиксировано 13765 математика, в то время как отделение математики РАН почти полностью сформировано из сотрудников институтов математики в Москве, Санкт-Петербурге и Новосибирске, в этих институтах работает менее 500 человек. Указанный клан довольно слабо представлен в РИНЦ. Такое положение демонстрирует кризис в российской математике.

Развернутое обсуждение применения статистических и экспертных методов наукометрии при управлении научной деятельностью дано в монографии [Лойко и др., 2017]. На практике необходимо совместно применять оба указанных вида методов, избавляясь от архаики.

Выводы

Идея Аристотеля о структуре науки и управлении научной деятельностью весьма актуальны и в настоящее время.

Контроллинг научной деятельности, как и контроллинг в целом, - быстро растущая область теоретических и прикладных исследований. Однако информация о научных достижениях распространяется медленно. Необходимо резко ускорить распространение информации о полученных научных результатах.

Основным показателем, по которому надо оценивать научную деятельность исследователя или организации, является число цитирований в РИНЦ. Ориентация на зарубежные базы данных Скопус и WoS наносит вред интересам нашей страны, поскольку при этом игнорируется основная часть отечественной научной продукции.

Необходимо совместно применять статистические и экспертные методы наукометрии при управлении научной деятельностью, избавляясь от архаики.

Библиографический список

Аристотель. Политика // Сочинения в 4-х томах. - М:, Мысль, 1983. Т.4. - 830 с.

Воспоминания о Л.Д. Ландау. - М.: Наука, 1988. - 352 с.

Гринченко С.Н. Является ли мировая наука "организмом"? // Biocosmology - neo-Aristotelism. Vol. 4. Nos. 1&2 (Winter/Spring 2014). - С. 115-122.

Кудлаев Э.М., Орлов А.И. Вероятностно-статистические методы исследования в работах А.Н. Колмогорова // Заводская лаборатория. Диагностика материалов. 2003. Т.69. No. 5. С.55-61.

Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. - Краснодар: КубГАУ, 2017. - 532 с.

Лойко В.И., Луценко Е.В., Орлов А.И. Современная цифровая экономика. - Краснодар: КубГАУ, 2018. - 508 с.

Луценко Е.В., Орлов А.И. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию // Научный журнал КубГАУ. 2016. No.121. С. 202 - 234.

Москалева О.В. Рецензия на книгу: Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии (Краснодар: КубГАУ, 2017. 532 с.) // Научный редактор и издатель. 2017. Т.2. No. 2-4. С. 130-132.

Налимов В.В., Мульченко З.М. Наукометрия. Изучение науки как информационного процесса. - М.: Наука, 1969. - 192 с.

Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. No.4 (28). С. 12-18.

Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. - 486 с.

Орлов А.И. Отечественная научная школа в области эконометрики // Научный журнал КубГАУ. 2016а. No. 121. С. 235 - 261.

Орлов А.И. Многообразие областей и инструментов контроллинга // Научный журнал КубГАУ. 2016. No. 123. С. 688 - 707.

Орлов А.И. Современные проблемы науковедения и наукометрии // Biocosmology - neo-Aristotelism. Vol.7, Nos 3&4 (Summer/Autumn 2017). С. 389-410.

Орлов А.И. Контроллинг явный и контроллинг скрытый // Контроллинг. 2018. No.3 (69). С. 28-32.

Орлов А.И. Контроллинг научной деятельности // Контроллинг. 2019. No. 71. С. 18-24.

Орлов А.И. Аристотель и цифровая экономика // Biocosmology - neo-Aristotelism. Vol. 9, Nos. 1&2 (Winter/Spring 2019а). С. 7-20.

Фалько С.Г. Предмет контроллинга как самостоятельной научной дисциплины // Контроллинг. 2005. No. 1 (13). С. 2-6.

Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.

Хруцкий К.С. О Биокосмологии, Аристотелизме и перспективах становления универсальной науки и философии // Biocosmology - neo-Aristotelism. Vol.1, No.1 (Winter 2010). С. 18-32.

Хруцкий К.С. Обсуждая гипотезу "пространственного гомеостаза" О.И. Эпштейна - о биокосмологических параллелях и терминологических коррекциях, и общих основаниях органистской - органонкосмологической - науки в России // Biocosmology - neo-Aristotelism. Vol. 9, Nos. 1&2 (Winter/Spring 2019). С. 21-136.

Чугунов В.С. Контроллинг: философия, теория, методология: монография. - М.: НП "Объединение контроллеров", 2017. - 140 с.

Публикация:

Орлов А.И. Статистические и экспертные методы наукометрии при управлении научной деятельностью // Biocosmology - neo-Aristotelism. Vol.9, Nos 3&4 (Summer/Autumn 2019).

*   *   *   *   *   *   *

Земля нас просто всех сбросит

Звуковое письмо Людмилы Фионовой с берегов Волги http://www.za-nauku.ru/index.php?option=com_content&task=view&id=12220&Itemid=35

Фионова Людмила Кузьминична - профессор РАН, доктор физико-математических наук, сопредседатель экспертного Комитета Ста, независимый эксперт. 

Труды Л.К. Фионовой широко известны в мире, она работала в университетах Парижа, Мехико, Сэндая (Япония), значительная часть ее работ выполнена в содружестве с учеными Франции, Болгарии, Японии, Мексики. Она сопредседатель общественного комитета, в который входят ученые, борющиеся за возрождение науки в России.

Л.К. Фионова - автор публицистических книг "Политические причины глобального экологического кризиса", "Разгром", "Война против разума", "Обреченная цивилизация". Публицистические статьи Л.К. Фионовой печатаются в журналах и газетах, широко представлены в интернете.

Людмила Кузьминична Фионова - лауреат "Слова к народу" "Советской России" за 2007 год.

Добрый день!

Сегодня мы будем говорить о вещах очень жестких, жизненно важных. О них не хотят слышать, не знают и не хотят знать миллионы людей, потому что это вытаскивает людей из зоны комфорта, они вынуждены задуматься о том, что завтра будет плохо, а значит, сегодня надо делать хоть что-то.
Я буду говорить о необходимости мобилизации всего интеллектуального потенциала планеты для того, чтобы справиться с климатическими изменениями, которые нарастают как снежный ком.

Не помогают совершенно такие слабенькие меры, которые предлагает Парижское соглашение по климату, которое не подписал главный "пачкальщик" - Соединенные Штаты Америки.

Не помогают усилия национальных правительств, и совершенно не работает Организация Объединенных Наций. Кто работает? Волонтеры.

Я буду говорить о чрезвычайно сильных изменениях климата, которые может остановить только некая надправительственная, надгосударственная организация - Комитет Спасения Планеты. Этот термин уже гуляет по интернету, мы говорили об этом несколько лет назад. Теперь пришла пора принимать очень жесткие мобилизационные меры, и это понимают очень многие люди в России, которые создали экофронт, по сути. Потому что "антимусор", антимогильник ядерный, защитники лесов, защитники рек - они, по существу, сегодня составляют горизонтальную сеть экологического фронта России, но это всё волонтеры.

С нами сотрудничают многие иностранные государства. К нам выходит профессор Фокс из Калифорнии, который, по существу, говорит по-английски то, что мы говорим по-русски.

Я хотела бы обратить внимание на работы Гамбургского клуба.

Господин Потемкин предлагает очень оригинальную терминологию. Он говорит о невозможности жить дальше в обществе потребления и предлагает совершить мировоззренческую революцию. Остроумная терминология его состоит в том, что он говорит: "Надо перейти от homo consumer к eco sapiens, то есть от человека потребляющего к человеку разумному, экологичному, вписанному в экосистему.

Но кто это услышит сейчас? Я хотела бы обратить внимание на работы, пришедшие из Швеции от Александры Андерсон, о том, что климат уродуют и наши пристрастия, например к мясу. Она говорит, что мы бензиновые и мясные наркоманы, и она совершенно права.

Веганство, вегетарианство становятся сейчас брендом, на это переходят многие молодые люди, потому что до 80-90 процентов лесов, которые дают нам кислород, вырубается под пастбища. Мы не можем потреблять много мяса, тем более что сейчас население растет взрывообразно, и нам совершенно не справиться с кормовой базой человечества, потому что на производство 1 килограмма мяса уходит до 20 килограммов и более зерновых и несметное количество воды.

Для того чтобы все это делать, нужны усилия всего мирового сообщества, нужна мобилизация всего интеллектуального потенциала планеты.
А что делают в правительстве? Давайте посмотрим екатеринбургский форум. Наш уважаемый президент, господин Путин, признает, что глобальное потепление идет в наших высоких широтах в два с половиной раза выше, сильнее, чем на других широтах, и это правда. Но он, по существу, признал и то, что иркутское наводнение стало причиной глобального потепления.

Ну а дальше-то что? Вот мы сейчас выходим в эфир с берегов Волги, из города Углича, где остановлена практически вся промышленность. За 30 лет здесь все разгромлено. Остановлен часовой завод, где работала половина взрослого населения. И такая ситуация по всем малым городам России, и по крупным тоже. 80 тысяч предприятий закрыто.

Что делают правительство и президент? Они вынуждают население России жить за счет истребления недр. Мы живем за счет углеводородов. Да их вообще надо прекращать добывать и останавливать автомобильную промышленность, потому что до 30 процентов выбросов углекислого газа, то есть парникового, дают автомобили. Но совершенно никак не продвигаются альтернативные изобретения, виной тому - прибыль олигархов.

Послушаем, что сказал на екатеринбургском форуме Сергей Иванов, который у нас должен заниматься экологией. Он сказал, у нас перерабатывается всего 4 процента мусора, и дальше он мило улыбнулся, сказав, что Запад перерабатывает 60 процентов. Это неправда, там до 80 процентов перерабатывается. Он должен это делать. Слушайте, пусть подаст в отставку, он же совершенно не справляется с обязанностями! Мусор летит на поляны, "антимусор" русский просто уже захлебывается от протестов, ничего не делается. Деньги, выделенные на переработку мусора, себе рассовывают по карманам такие люди, как сын генпрокурора Чайки, владельцы Сбербанка и ВТБ.

Итог: волонтеры работают, правительство - нет. Климатологи не могут достучаться ни до национальных правительств, ни до Организации Объединенных Наций.

Посмотрите, например. Наш премьер Медведев выходит, по-моему, в Госдуму и говорит: "У нас двадцать миллионов бедных". Слушай, застрелись, ну хоть в отставку подай, ты же провалил всю работу. Как можно в такой богатейшей стране жить так плохо? А что такое нищета? Нищета - это тоже экологическое повреждение, потому что люди идут браконьерствовать, идут на какие-то промыслы, которые нельзя допускать, и так далее. А главное, нищета - это деградация.

Я хотела бы сказать, что мы умрем не через 20 лет, как говорят климатологи, мы умираем сегодня, здесь и сейчас, причем умирают богатые и бедные. 400 ppm углекислого газа в атмосфере - это значит, что по нашим жилам течет угольная кислота. И с каждым вздохом, даже вот здесь, на прекрасном берегу Волги, мы эту закисленность организма увеличиваем.

Наши олигархи в погоне за прибылью заполонили наш рынок продуктами, которые вообще нельзя есть (генетически модифицированные, насыщенные химией и так далее). У нас по всему миру умирают насекомые, в том числе пчелы. Посмотри, от чего пчелы умирают. Не только от гербицидов, не только от потепления.

Я бы хотела говорить об опасности, о которой мало кто говорит, - об электромагнитных полях. Вот мобильная связь. Сейчас у нас 3G и 4G. А наше правительство взяло и подписало соглашение с китайской фирмой Huawei, которая будет разворачивать у нас систему мобильной связи 5G. Вы понимаете, что это такое? Это микроволновка, в которую нас всех посадят. Значит, 5G: уже есть исследования физиологов, которые говорят, что это повреждает человека на генетическом уровне, что меняются морфологически нервные клетки в организме человека, и это многие поняли, может быть, не на научном уровне, но, во всяком случае, на опытном. Посмотрите, в Европе и даже, по-моему, в Катаре люди уже ломают вышки 5G, потому что, по-моему, в Дании или в Голландии, когда поставили вышки 5G, там мертвых птиц в парке близлежащем (400 метров от этой вышки) собирали в мешки. А мы же не видим, сколько погибало при этом маленьких насекомых и так далее, а это все основа нашей пищевой цепочки.

В итоге мне хотелось бы еще раз подчеркнуть: необходимо срочно встать с дивана, понять, что через несколько лет мы уже не сможем предпринять никаких мер по спасению человечества и нужно останавливать эту вакханалию сейчас. Общество потребления, о котором я уже сказала, говорил господин Потемкин из Гамбургского клуба, несовместимо совершенно с существованием жизни на Земле. Требуется срочная мобилизация интеллектуальных ресурсов планеты, а также исполнителей управляющих структур, менеджеров. Сегодня они работают на общество потребления, а они должны работать на жизнь. Надо создавать Комитет Спасения Планеты!

Мне хотелось бы подчеркнуть, что сейчас этот призыв звучит из России. И мы хотели бы, чтобы он прозвучал отсюда, с берегов Волги. Волга - это государствообразующая река. Государство образуют не нефтяные скважины, не ракеты, а реки. Так было тысячи лет, так будет всегда, потому что вода - это жизнь, а река - это не просто вода, это текущая вода, которая увеличивает количество кислорода, это артерия, связующая народы, это жизнь.

Вот с берегов Волги мы говорим, что так жить нельзя! Нужно предпринимать мобилизационные усилия сейчас, пока еще не прозвучал вот этот последний звонок, который нас определит в такие потенциальные покойники.
Я хотела бы подчеркнуть. Погибнут все: богатые и бедные, сейчас болеют все - богатые и бедные, я много раз об этом говорила. Неважно, кто ты, во дворце ты живешь, в пентхаусе или ты бы бомж из картонной коробки. Твой организм разлагается, ты деградируешь, и запускается такое колесо смерти. Человек деградирующий разрушает природу. Природа, которую убивает человек, начинает убивать человека, потому что Земля нас просто всех сбросит! У Земли не отменена смертная казнь!

Спасибо! Это все, что я хотела сказать.

http://sovross.ru/articles/1873/45051

*   *   *   *   *   *   *

На сайте "Высокие статистические технологии", расположенном по адресу http://orlovs.pp.ru, представлены:

На сайте есть форум, в котором вы можете задать вопросы профессору А.И.Орлову и получить на них ответ.

*   *   *   *   *   *   *

Удачи вам и счастья!


В избранное