Орлов А.И., д.э.н., д.т.н., к.ф.-м.н., директор Института высоких статистических технологий и эконометрики, профессор МГТУ им. Н.Э. Баумана, prof-orlov@mail.ru

Ключевые слова: наука, управление, социология, контроллинг, информационно-коммуникационные технологии, наукометрия, статистические методы, показатели продуктивности и результативности, экспертные оценки.

В настоящее время в науке работают миллионы людей. Так, на 12.12.2020 в Российском индексе научного цитирования (РИНЦ) зарегистрировано 989426 авторов и 3335496 читателей.

Различным конкретным задачам экономики, управления и социологии науки посвящен частично или полностью ряд наших работ ХХ в. (см., например, [1, 2]). Другое направление наших исследований - математические методы социологии. Принципиально важный сборник [3] заложил основы нового раздела статистических методов - статистики нечисловых данных. Итоги работ этого направления подведены в статьях [4, 5]. Следующим шагом является критический анализ статистических и экспертных методов экономики и управления наукой, которому и посвящена настоящая статья.

Общепризнанно, что Аристотель - отец современного европейского и мирового знания, науки. Трудно назвать хоть одну отрасль науки, которая не находила бы начало у Аристотеля. Многие идеи Аристотеля [6], относящиеся к анализу внутренней структуры науки, являются и сейчас весьма актуальными. Новым по сравнению с временами Аристотеля является огромное количество работников науки и ими накопленных научных результатов. Если Аристотель мог лично знать современных ему ученых, то ныне это невозможно. Как следствие, каждый из нас знаком лишь с малой долей публикаций и людей, относящихся к его тематике.

Проблемы управления научной деятельностью актуальны как для исследователей, так и для администраторов различных уровней. Исследователь заинтересован в выявлении перспективных направлений науки, в ответах на вопросы типа "кто есть кто". Администраторы распределяют ресурсы, формируют программы развития исследователей и выполняющие их коллективы. Предлагаем для решения проблем управления научной деятельностью использовать наиболее продвинутую область менеджмента - контроллинг.

Сначала кратко обсудим научную область под названием "контроллинг". Начнем с определения используемых терминов. Исходим из определения основоположника контроллинга в нашей стране проф. С.Г. Фалько: "Контроллинг - это ориентированная на перспективу и основанная на измерении факта система информационно-аналитической и методической поддержки менеджмента в процессе планирования, контроля, анализа и принятия управленческих решений, обеспечивающая координацию и интеграцию подразделений и сотрудников по достижению поставленных целей" [7]. Короче говоря, контроллинг - это система информационно-аналитической поддержки процесса принятия управленческих решений в организации. Если эта организация - научная, то речь идет о контроллинге науки. Таким образом, контроллер разрабатывает правила принятия решений, руководитель принимает решения, опираясь на эти правила. В литературе используются и другие определения контроллинга. Данное выше определение является наиболее распространенным. В перечне определений понятия "контроллинг" [8] оно стоит первым.

В современных условиях научное направление "Контроллинг" выделяется быстрым интенсивным и экстенсивным ростом. Расширяется многообразие конкретных областей применения концепций контроллинга, разрабатываются новые интеллектуальные инструменты контроллинга [9].

В настоящее время часто используют скрытый контроллинг, т.е. системы информационно-аналитической поддержки процесса принятия управленческих решений без использования термина "контроллинг". Предлагаем говорить о "контроллинге под псевдонимами" [10]. Так, работы по информационно-аналитической поддержке процесса принятия решений проводились с давних времен, задолго до появления этого термина. Так, о переписи военнообязанных рассказано в Ветхом Завете в Четвертой книге Моисеевой "Числа". При обсуждении этой переписи уместно использовать термины "статистические методы", "эконометрика", "контроллинг", однако этих появившихся значительно позже терминов нет в Библии.

Однако и сейчас они не всегда используются. В одних организациях действуют службы контроллинга, в других информационно-аналитические подразделения носят иные названия, ведущие свое происхождение, например, от контрольных органов, аналитических центров и отделов по разработке и эксплуатации автоматизированных систем управления.

Псевдонимы используют не только для контроллинга. Так, термин "эконометрика" стал применяться в России начиная с 1990-х гг., хотя работы, посвященные статистическим методам в экономике и управлении (т.е. эконометрике в современном понимании), весьма активно велись еще в XIX в. [11]. За рубежом термин появился раньше, чем у нас, но не намного - в ХХ в. В 1930 г. в США было создано первое международное эконометрическое общество, с 1933 г. стал издаваться журнал "Econometrica" - первый журнал, в названии которого есть этот термин.

Подходы современного контроллинга могут и должны с успехом использоваться в любой конкретной области. С развитием работ возникает новое направление научной и практической деятельности под названием "контроллинг такой-то области". Здесь в качестве конкретной области рассмотрим научную деятельность. Для управления научной деятельностью в вузах и НИИ администраторы используют различные показатели и процедуры, причем зачастую неадекватно.

Считаем полезным для успешного развития научных исследований выделить новую область контроллинга (или новое направление) - контроллинг научной деятельности. Для обоснования этого выделения необходимо обсудить контроллинг в целом и его составную часть - контроллинг методов. Затем мы рассматриваем основные положения контроллинга научной деятельности, уделяя внимание критике распространенных догм. Завершаем эту статью некоторыми рекомендациями по совершенствованию управления научной деятельностью в вузах и НИИ, вытекающими из контроллинга научной деятельности.

Инновации в сфере управления в промышленности и других отраслях народного хозяйства основаны, в частности, на использовании новых адекватных организационно-экономических методов. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам. В деятельности управленческих структур выделяем интересующую нас сторону - используемые ими организационно-экономические методы - и рассматриваем их с точки зрения влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями и организациями других отраслей народного хозяйства, в частности, вузами и научно-исследовательскими институтами. Если речь идет о новых методах (для данного предприятия), то их разработка и внедрение - организационная (управленческая) инновация, соответственно контроллинг организационно-экономических методов можно рассматривать как часть контроллинга инноваций.

В работе [12] мы обосновываем выделение в контроллинге новой области - контроллинг методов - и обсуждаем содержание этой области. Речь идет прежде всего об организационно-экономических методах. По нашему мнению, следует говорить не только и не столько о методах, сколько об инструментах контроллинга, прежде всего математических (или, точнее, экономико-математических) [13].

В лаборатории экономико-математических методов в контроллинге Научно-образовательного центра "Контроллинг и управленческие инновации" МГТУ им. Н.Э. Баумана проведены исследования в области контроллинга (явного и скрытого) в ряде научных и прикладных областей. В частности, рассмотрены проблемы контроллинга рисков, научной деятельности, персонала, качества продукции и услуг, организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли, экологической безопасности, контроллинга агропромышленного комплекса. Методы принятия управленческих решений во всех перечисленных областях имеют много общего.

Перейдем к обсуждению контроллинга науки (научной деятельности). В настоящее время оценка продуктивности и результативности научной деятельности проводится повсеместно в вузах и НИИ. Поэтому контроллинг инструментов управления научной деятельностью (как составная часть контроллинга организационно-экономических методов) представляет как теоретический, так и практический интерес [14].

Мы с 1970-х годов занимаемся разработкой ряда проблем контроллинга науки (наукометрии, управления в области науки, социологии науки). Конкретные результаты приведены в многочисленных статьях, прежде всего выпущенных начиная с 2013 г. Промежуточные итоги подведены в статье [15] и совместной монографии 2017 г. [16]. Рецензия [17] на эту монографию интересна тем, что в ней дан перечень основных положений разрабатываемого нами подхода в науковедении - контроллинга научной деятельности. Обсудим этот перечень.

Наукометрия (буквально: измерения в науке) - область знания, занимающаяся изучением науки путем статистических и экспертных исследований структуры и динамики научной деятельности, подобно тому, как эконометрика - это статистические и экспертные методы в экономике и управлении [11].

Наукометрия как часть науковедения служит основой для принятия управленческих решений в области управления научной деятельностью. Основные положения наукометрии были сформулированы В. В. Налимовым и З. М. Мульченко еще в 1969 г. [18]. По нашей оценке, с тех пор в теоретической наукометрии единственным заметным, но сомнительным новшеством является появление так называемого "индекса Хирша", предложенного в 2005 г. физиком Хорхе Хиршем из Калифорнийского университета в Сан-Диего. Автор (или коллектив), опубликовавший N работ, имеет индекс Хирша h, если h из его публикаций цитируются как минимум h раз каждая, в то время как оставшиеся (N - h) работ цитируются не более чем h раз каждая. Таким образом, индекс Хирша - это некоторая характеристика центральной тенденции (т.е. средняя величина) для количеств ссылок на отдельные работы рассматриваемого автора (или коллектива). Неясно, в частности, чем индекс Хирша лучше средней цитируемости, т.е. частного от деления числа цитирований на число публикаций.

Однако за полвека с момента появления монографии [18] прикладная наукометрия обогатилась большим числом инструментов, использующих разнообразные информационно-коммуникационные технологии, в частности, технологии больших данных. Примером является Российский индекс научного цитирования (РИНЦ). Развитие цифровой экономики [19] расширило возможности наукометрии.

Как известно, наукометрические данные широко используют при управлении научной деятельностью, коллективами НИИ и вузов. Однако такое использование не всегда является обоснованным. К сожалению, к ошибочным решениям приводят распространенные догмы в области управления научной деятельностью. Данное ниже обсуждение этих догм основано как на проведенных исследованиях, так и на личном опыте исследователя. Согласно РИНЦ, автор настоящей работы - один из наиболее цитируемых отечественных ученых по направлениям "Математика" и "Экономика. Экономические науки". Согласно классической работе [18], вклад ученого в фундаментальную науку оценивается числом цитирований его работ.

Распространены разнообразные догмы, приводящие к необоснованным управленческим решениям, наносящим вред развитию научных исследований. Например, отдельные лица:

- считают публикации в научных журналах основным видом научных публикаций;

- верят в реальное существование "мировой науки";

- отдают приоритет публикациям в зарубежных журналах, индексируемых в базах библиометрических данных WoS и Scopus;

- основным наукометрическим показателем без каких-либо обоснований считают индекс Хирша;

- отрицательно относятся к самоцитированию;

- игнорируют публикации старше 5 лет, в частности, при расчете импакт-факторов журналов, и т. д.

(Поясним последнее понятие на примере. Если импакт-фактор журнала за 2018 год равен 2, значит, опубликованные в нем в 2016 и 2017 годах статьи цитировались в 2018 году в среднем по 2 раза. Базовый период в 2 года иногда заменяют на более длинный - 5 лет. Одна из вредных догм состоит в том, что импакт-фактор - это численный показатель важности научного журнала. Эта догма ориентирует на скороспелый эффект. Между тем фундаментальные работы имеют продолжительный "срок жизни", цитируются через много лет и десятилетий. Например, как показано в [20], статьи А.Н. Колмогорова 1930-х годов отнюдь не потеряли актуальности. Как и книги Н.Ф. Чарновского по организации производства, выпущенные в 1911 - 1927 гг. )

Опубликовать статью на английском языке за рубежом - это возможность продемонстрировать, как ценят автора этой статьи во всем мире. И совсем неважно, что для соотечественников знакомство с этой статьей будет затруднено - как из-за трудностей при обращении к журналу, так и из-за языковых проблем. Зато специалисты в англосаксонских странах, являющихся геополитическими конкурентами нашей страны, совершенно бесплатно получают в свое распоряжение научные результаты, найденные на деньги российских налогоплательщиков.

Кому выгодна глобализация? В современных условиях - геополитическим конкурентам России. Патриотизм означает, что заботиться надо прежде всего о своей стране, а не о геополитических конкурентах.

На основе каких величин целесообразно принимать решения при управлении научной деятельностью, в частности, при распределении финансирования? При ответе на этом вопрос будем исходить из общих положений контроллинга.

Как разъясняет С.Г. Фалько: "В экономике под показателями понимают абсолютные и относительные величины, а также их совокупности, которые отражают явления хозяйственной деятельности предприятия. Если мы хотим узнать что-то о конкретном явлении, то мы измеряем некоторые его свойства... Таким образом, показатели, а также их совокупности выступают в качестве измерителей. Процесс измерения осуществляется при помощи измерительной системы, разрабатываемой службой контроллинга предприятия" [21, с.106].

Выделим прикладную науку, когда работа выполняется в интересах конкретного заказчика, и фундаментальную науку, нацеленную на увеличение знаний. В прикладной науке публикация полученных результатов в открытой печати не является основной целью и, более того, не всегда целесообразна, в частности, из-за необходимости соблюдения коммерческой и государственной тайны. В фундаментальной науке, наоборот, итогом выполненного исследования является именно публикация, а ее оценкой является востребованность научным сообществом, выраженное в числе цитирований в дальнейших работах. В настоящей статье рассматриваем фундаментальную науку и изучаем ее как информационный процесс [18].

Обсудим часто используемые показатели продуктивности и результативности научной деятельности.

Основной показатель продуктивности - число публикаций. Варианты - учет видов публикаций и их объемов. Ясно, что продуктивность определяется активностью автора, иногда - его административным положением, но не влиянием на развитие науки. Очевидно, нельзя оценивать научную деятельность только по числу публикаций.

Ключевой показатель результативности - число цитирований в научных изданиях. Если работу цитируют - значит, она нужна научному сообществу. Согласно [18] результативность научной деятельности необходимо оценивать по числу цитирований и использовать этот показатель при принятии управленческих решений. Хорошо известны возмущающие факторы, которые могут исказить этот показатель. Так, с помощью административных методов можно его несколько завысить. Можно заметно исказить индекс Хирша в сторону увеличения [22]. Однако наш анализ данных РИНЦ показывает, что искажения мало влияют на общую картину.

Управление наукой на основе числа публикаций в рецензируемых журналах (именно в журналах!) и индексов цитирования в журналах объективно замедляет развитие науки, переход полученных результатов в область практического применения, поскольку замедляет выход монографий и учебников. Действительно, как только научный результат попадает в учебник, ссылаться начинают на этот учебник, а не на исходные статьи, и наукометрические показатели автора результата перестают расти. Зачем же тратить силы на написание учебника?

Публикации в научных журналах являются наименее значимым типом научных публикаций. Естественная цепочка развития научного результата такова: тезисы доклада - тематический сборник - монография - учебник - широкое использование. Для развития нового направления публикации в научных журналах, вообще говоря, не нужны. Эти положения подтверждает история развития таких направлений (автор настоящей статьи активно участвовал в создании этих направлений), как статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) и теория экспертных оценок. Ясно, что издание собственных журналов или завоевание позиций в уже существующих возможно лишь на этапе зрелости нового направления, но не на этапе его создания.

Необоснованность некоторых широко распространенных утверждений поражает. Например, на основе данных библиографической базы Scopus утверждают, что вклад России в мировую науку составляет порядка 1% (ссылок не даем, чтобы не пропагандировать недостойные работы и их авторов). Однако в указанную базу включено более 6000 американских журналов и только около 200 - российских (а только в "списке ВАК" - несколько тысяч журналов). Чему же удивляться - просматривается один российский журнал на 30 американских! Если сделать естественную поправку - умножить на 30 - то получим, что оценка доли России - 30%, что вполне сопоставимо с американской долей (28,7 %).

"Мировая наука" - это миф [27]. Сильная сторона современной отечественной фундаментальной науки - ее самодостаточность. Для получения нужных стране научных результатов мировая наука российским исследователям практически не нужна. Более того, возвеличивание "мировой науки" - это вредный миф, поддерживаемый врагами России с целью выкачивания ресурсов из нашей страны. О реальной роли "мировой науки" размышляет проф. С.Н. Гринченко [23].

На основе опыта многих исследователей констатируем, что для успешного ведения научной работы обычно вполне достаточно литературы на русском языке, цитирование иностранных источников - зачастую дань моде, а не необходимый элемент исследования. Вытекает это, в частности, из наличия огромного объема научных публикаций на русском языке. Известно, что начать и провести исследование можно "с нуля", без анализа литературных источников. Так, великий физик Л.Д. Ландау физические журналы не читал [24]. Он проводил исследования "с нуля".

Активное самоцитирование научных организаций и научных сотрудников - показатель их передового положения в науке, наличия научных школ, перспективных научных направлений. Действительно, только начинающий исследователь в своей первой публикации не может на себя сослаться, он цитирует других. По мере продвижения исследований в выбранном направлении уменьшается значение чужих работ, зато резко увеличивается необходимость ссылок на свои публикации. Во-первых, с целью опоры на ранее полученные результаты. Во-вторых, с целью демонстрации связи своих новых результатов со старыми. С самоцитированием не следует бороться, его надо поощрять.

Тезис В.В. Налимова о большом значении "незримых коллективов" [18] приводит к неизбежности и праве на существование "региональной науки" и заключению о снобизме "столичной науки". Загнившая часть научного сообщества стремится принизить значение новых научных направлений и журналов, особенно действующих вне Москвы. Цель такого принижения - переключение потока направляемых в печать статей и соответствующих финансовых потоков на устаревшие центры, в настоящее время быстро теряющие свои творческие потенции.

Подходы к управлению научной деятельностью на основе современной наукометрии достаточно подробно и всесторонне проанализированы в монографии [16]. Здесь мы сосредоточились на вопросах контроллинга научной деятельности.

Экспертные методы основаны на сборе и анализе мнений людей [26]. Именно экспертные методы используются на практике при управлении научной деятельностью. Статистические данные лишь учитываются, хотя сфера их применения растет. Если списки публикаций используются с давних времен, число цитирований стало возможным применять при управлении лишь в текущем веке, опираясь на достижения цифровизации, а именно, систем типа РИНЦ, основанных на сплошном просмотре информационных ресурсов (т.е. на методологии больших данных).

Какие методы предпочтительнее в конкретных ситуациях - статистические или экспертные? Этот вопрос заслуживает подробного обсуждения.

Обсудим экспертные методы наукометрии. Рассмотрим четыре вида методов: рецензирование статей, работа диссертационных советов, назначения (выборы) на административные должности, выборы в РАН.

Объем накопленной научной информации на много порядков превышает возможности творческого освоения информации отдельным исследователем. Современные информационно-коммуникационные технологии, в частности, методы анализа больших данных, лишь частично позволяют справиться с этой проблемой [25]. Как уже говорилось, основная проблема современной науки - всеобщее невежество научных работников, вызванное огромным объемом накопленных научных результатов.

Механизм борьбы со всеобщим невежеством - выделение формальных или неформальных научных кланов (сообществ), т.е. обособленных замкнутых совокупностей исследователей. Члены клана знают и поддерживают друг друга, выработали общие взгляды на научные проблемы, имеют базовые организации, научные журналы, проводят международные и всероссийские конференции и т.п. Работами вне клана члены клана не интересуются. Часто работы вне клана отвергаются "с порога". Кланы возникают вокруг научных организаций, подразделений, иногда - отдельных лиц. Типовая численность клана - несколько сотен исследователей различного уровня и возраста.

В клане обычно действует система проверки "свой - чужой". Она прежде всего проявляется при рецензировании статей. Работы лиц из своего клана получают положительные рецензии, иногда с указанием на необходимость устранения опечаток. А работы "чужих" отклоняются под благовидными предлогами. Как следствие, информация о новых научных результатах не распространяется, развитие науки тормозится. Система рецензирования нужна лишь утвердившимся кланам для поддержания своего монопольного положения. Целесообразно отказаться от обязательного рецензирования. Впрочем, де-факто это уже происходит. В частности, зачастую для формального соблюдения правил авторы, в том числе и диссертанты, сами готовят рецензии.

Диссертационные советы позволяют осуществлять контакты между различными кланами. Подготовка диссертаций полезна для развития профессиональных навыков молодых ученых. Однако сама процедура защиты в России - архаика. Её стандартная продолжительность - два часа. Диссертация лежит на столе руководителей диссертационного совета невостребованной. Впрочем, это естественно - члену диссертационного совета нереально познакомиться с текстом диссертации за время защиты. Особенно возмущает, что по правилам ВАК нельзя исправить ошибки и недостатки диссертации, выявленные при защите.

Назначения (выборы) на административные должности в научных организациях и высших учебных заведениях проводятся на основе мнений людей, т.е. экспертных оценок. Администраторы занимаются управлением, в то время как предполагается, что у них есть значительные достижения в науке. Это - архаическое предположение, от него надо избавляться, меняя общественное мнение.

Архаикой является и восприятие Российской академии наук (РАН) как центра научной деятельности в России. Члены РАН занимает довольно скромное место среди наиболее продуктивных ученых, как видно по данным РИНЦ. В этом нет ничего удивительного - результаты выборов в РАН определяются борьбой кланов, а не научными достижениями. Например, на 12.12.2020 в РИНЦ зафиксировано 17542 математика, в то время как отделение математики РАН почти полностью сформировано из сотрудников трех институтов математики - в Москве, Санкт-Петербурге и Новосибирске, в которых институтах работает менее 500 человек. Отделение математики РАН довольно слабо представлено в РИНЦ. Налицо кризис в российской математике.

Развернутое обсуждение проблем применения статистических и экспертных методов, нацеленных на применение при управлении научной деятельностью, дано в монографии [16]. На практике необходимо совместно применять оба указанных вида методов, избавляясь от архаики.

Идея Аристотеля о структуре науки и управлении научной деятельностью весьма актуальны и в настоящее время.

Необходимость принятия обоснованных управленческих решений возникает в самых разных областях человеческой деятельности. Правила принятия таких решений - компетенция структур контроллинга, даже если они действуют под другими названиями.

Контроллинг научной деятельности, как и контроллинг в целом, - быстро растущая область теоретических и прикладных исследований. Однако информация о научных достижениях распространяется медленно. Необходимо резко ускорить её распространение.

Основным показателем, по которому надо оценивать научную деятельность исследователя или организации, является число цитирований в РИНЦ. Ориентация на зарубежные базы данных Скопус и WoS наносит вред интересам нашей страны, поскольку при этом игнорируется основная часть отечественной научной продукции.

Необходимо совместно применять статистические и экспертные методы при решении проблем управления научной деятельностью, избавляясь от архаики.

Изучение функционирования клановой структуры науки - актуальная задача.

1. Орлов А.И. Социологический прогноз развития российской науки на 1993-1995 гг. // Международная газета "Наука и технология в России". Июнь 1993 г. No.1. С. 29-29.

2. Орлов А.И., Нечаева Е.Г., Соколов А.В. Статистика объектов нечисловой природы и анализ данных о научном потенциале // Социология: методология, методы, математические модели. 1995. No.No.5-6. С. 118-136.

3. Андреенков В.Г., Орлов А.И., Толстова Ю.Н. (ответственные редакторы). Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 220 с.

4. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология, методы, математические модели. 2005. No.20. С. 32-53.

5. Орлов А.И. Математические методы в социологии за сорок пять лет // Научный журнал КубГАУ. 2016. No.117. С. 91-119.

6. Аристотель. Политика // Сочинения в 4-х томах. - М:, Мысль, 1983. Т.4. - 830 с.

7. Фалько С.Г. Предмет контроллинга как самостоятельной научной дисциплины // Контроллинг. 2005. No. 1 (13). С. 2-6.

8. Чугунов В.С. Контроллинг: философия, теория, методология: монография. - М.: НП "Объединение контроллеров", 2017. - 140 с.

9. Орлов А.И. Новые перспективные математические инструменты контроллинга // Инновации в менеджменте. 2015. No. 5. С. 58-63.

10. Орлов А.И. Контроллинг явный и контроллинг скрытый // Контроллинг. 2018. No.3 (69). С. 28-32.

11. Орлов А.И. Отечественная научная школа в области эконометрики // Научный журнал КубГАУ. 2016. No. 121. С. 235 - 261.

12. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. No.4 (28). С. 12-18.

13. Орлов А.И. Многообразие областей и инструментов контроллинга // Научный журнал КубГАУ. 2016. No. 123. С. 688 - 707.

14. Орлов А.И. Контроллинг научной деятельности // Контроллинг. 2019. No.1 (71). С. 18-24.

15. Орлов А.И. Современные проблемы науковедения и наукометрии // Biocosmology - neo-Aristotelism. Vol.7. Nos. 3&4 (Summer/Autumn 2017). С. 389-410.

16. Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. - Краснодар: КубГАУ, 2017. - 532 с.

17. Москалева О.В. Рецензия на книгу: Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии (Краснодар: КубГАУ, 2017. 532 с.) // Научный редактор и издатель. 2017. Т.2. No. 2-4. С. 130-132.

18. Налимов В.В., Мульченко З.М. Наукометрия. Изучение науки как информационного процесса. - М.: Наука, 1969. - 192 с.

19. Орлов А.И. Аристотель и цифровая экономика // Biocosmology - neo-Aristotelism. 2019. Vol. 9. Nos. 1&2 (Winter/Spring). С. 7-20.

20. Кудлаев Э.М., Орлов А.И. Вероятностно-статистические методы исследования в работах А.Н. Колмогорова // Заводская лаборатория. Диагностика материалов. 2003. Т.69. No. 5. С.55-61.

21. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.

22. Луценко Е.В., Орлов А.И. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию // Научный журнал КубГАУ. 2016. No.121. С. 202 - 234.

23. Гринченко С.Н. Является ли мировая наука "организмом"? // Biocosmology - neo-Aristotelism. Vol. 4. Nos. 1&2 (Winter/Spring 2014). - С. 115-122.

24. Воспоминания о Л.Д. Ландау. - М.: Наука, 1988. - 352 с.

25. Лойко В.И., Луценко Е.В., Орлов А.И. Современная цифровая экономика. - Краснодар: КубГАУ, 2018. - 508 с.

26. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. - 486 с.

27. Орлов А.И. Миф мировой науки / Большая Евразия: Развитие, безопасность, сотрудничество. Ежегодник. Вып. 3. Ч. 1. Материалы XIX Национальной научной конференции с международным участием "Модернизация России: приоритеты, проблемы, решения". Ч. 2 / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2020. - С.687 - 689.

Публикация:

1182. Орлов А.И. Вред ориентации на базы данных SCOPUS и WEB OF SCIENCE // Россия: Тенденции и перспективы развития. Ежегодник. Вып. 16: Материалы XX Национальной научной конференции с международным участием "Модернизация России: приоритеты, проблемы, решения" / РАН. ИНИОН. Отд. науч. сотрудничества; Отв. ред. В.И. Герасимов. - М., 2021. - Ч. 1. - С. 835-840.

ISBN 978-5-248-00995-4 http://ukros.ru/archives/26461,

http://innclub.info/archives/20049, https://www.academia.edu/48801730