Орлов А.И., доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор кафедры "Экономика и организация производства" (ИБМ-2) Московского государственного технического университета имени Н.Э. Баумана

Учебник посвящен основным методам современной прикладной статистики. В нем рассмотрены вероятностно-статистическая база и основные проблемы прикладной статистики - описание данных, оценивание, проверка гипотез. Описываются методы статистического анализа числовых величин, многомерного статистического анализа, временных рядов, статистики нечисловых и интервальных данных. Обсуждается методология прикладной статистики, ее современное состояние и перспективы развития. Изложение соответствует рекомендациям Российской академии статистических методов. Каждая глава учебника - это введение в большую область прикладной статистики. Приведенные литературные ссылки помогут выйти на передний край теоретических и прикладных работ, познакомиться с доказательствами теорем, помещенных в учебник.

Подготовлен с учетом требований Федерального государственного образовательного стандарта высшего образования.

Учебник предназначен для студентов направления подготовки 09.03.03 "Прикладная информатика", изучающих дисциплину "Прикладной статистический анализ", 27.03.05 "Инноватика", дисциплина "Эконометрика", 38.03.02 "Менеджмент" дисциплина "Прикладная статистика", 38.03.01 "Экономика" дисциплины "Основы теории вероятностей и математической статистики", "Статистика", 02.03.01 "Математика и компьютерные науки" дисциплина "Теория вероятностей и математическая статистика", а также будет полезен для студентов и преподавателей вузов, научных и практических работников, имеющих отношение к анализу данных.

Предисловие - *

Введение. Прикладная статистика как область научно-практической
деятельности - *

Литература - *

Часть 1. Фундамент прикладной статистики - *

Глава 1. Различные виды статистических данных - *

1.1. Количественные и категоризованные данные - *

1.2. Основные шкалы измерения - *

1.3. Нечисловые данные - *

1.4. Нечеткие множества - частный случай нечисловых данных - *

1.5. Данные и расстояния в пространствах произвольной природы - *

1.6. Аксиоматическое введение расстояний - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 2. Основы вероятностно-статистических методов описания неопределенностей - *

2.1. Теория вероятностей и математическая статистика - научные основы прикладной статистики - *

2.2.События и вероятности - *

2.3. Суть вероятностно-статистических методов - *

2.4. Случайные величины и их распределения - *

2.5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез - *

2.6. Некоторые типовые задачи прикладной статистики и методы их решения - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 3. Выборочные исследования - *

3.1. Применение случайной выборки (на примере оценивания функции спроса - 174

3.2. Маркетинговые опросы потребителей - *

3.3. Проверка однородности двух биномиальных выборок - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 4. Теоретическая база прикладной статистики - *

4.1. Законы больших чисел - *

4.2. Центральные предельные теоремы - *

4.3. Теоремы о наследовании сходимости - *

4.4. Метод линеаризации - *

4.5. Принцип инвариантности - *

4.6. Нечеткие множества как проекции случайных множеств - *

4.7. Устойчивость выводов и принцип уравнивания погрешностей - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Часть 2. Основные проблемы прикладной статистики - *

Глава 5. Описание данных - 233

5.1. Модели порождения данных - *

5.2. Таблицы и выборочные характеристики - *

5.3. Шкалы измерения, инвариантные алгоритмы и средние величины - *

5.4. Вероятностные модели порождения нечисловых данных - *

5.5. Средние и законы больших чисел - *

5.6. Непараметрические оценки плотности - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 6. Оценивание - *

6.1. Методы оценивания параметров - *

6.2. Одношаговые оценки - *

6.3. Асимптотика решений экстремальных статистических задач - *

6.4. Робастность статистических процедур - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 7. Проверка гипотез - *

7.1. Метод моментов проверки гипотез - *

7.2. Неустойчивость параметрических методов отбраковки выбросов - *

7.3. Предельная теория непараметрических критериев - *

7.4. Метод проверки гипотез по совокупности малых выборок - *

7.5. Проблема множественных проверок статистических гипотез - *

Литература - *

Контрольные вопросы - *

Темы докладов, рефератов, исследовательских работ - *

Часть 3. Методы прикладной статистики - *

Глава 8. Статистический анализ числовых величин - *

8.1. Оценивание основных характеристик распределения - *

8.2. Методы проверки однородности характеристик двух независимых выборок - *

8.3. Двухвыборочный критерий Вилкоксона - *

8.4. Состоятельные критерии проверки однородности независимых выборок - *

8.5. Методы проверки однородности связанных выборок - *

8.6. Проверка гипотезы симметрии - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 9. Многомерный статистический анализ - *

9.1. Коэффициенты корреляции - *

9.2. Восстановление линейной зависимости между двумя переменными - *

9.3. Основы линейного регрессионного анализа - *

9.4. Основы теории классификации - *

9.5. Статистические методы классификации - *

9.6. Методы снижения размерности - *

9.7. Индексы и их применение - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Глава 10. Статистика временных рядов - *

10.1. Методы анализа и прогнозирования временных рядов - *

10.2. Оценивание длины периода и периодической составляющей - *

10.3. Метод ЖОК оценки результатов взаимовлияния факторов - *

10.4. Моделирование и анализ многомерных временных рядов - *

10.5. Балансовые соотношения в многомерных временных рядах - *

Литература - *

Контрольные вопросы - *

Темы докладов, рефератов, исследовательских работ - *

Глава 11. Статистика нечисловых данных - *

11.1. Структура статистики нечисловых данных - *

11.2. Теория случайных толерантностей - *

11.3. Теория люсианов - *

11.4. Метод парных сравнений - *

11.5. Статистика нечетких множеств - *

11.6. Статистика нечисловых данных в экспертных оценках - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов и рефератов - *

Глава 12. Статистика интервальных данных - *

12.1. Основные идеи статистики интервальных данных - *

12.2. Интервальные данные в задачах оценивания характеристик и параметров распределения - *

12.3. Интервальные данные в задачах проверки гипотез - *

12.4. Линейный регрессионный анализ интервальных данных - *

12.5. Интервальный дискриминантный анализ - *

12.6. Интервальный кластер-анализ - *

12.7. Статистика интервальных данных и оценки погрешностей характеристик финансовых потоков инвестиционных проектов - *

12.8. Место статистики интервальных данных (СИД) в прикладной статистике - *

Литература - *

Контрольные вопросы и задачи - *

Темы докладов, рефератов, исследовательских работ - *

Часть 4. Заключение. Современная прикладная статистика - *

Глава 13. Точки роста - *

Глава 14. Высокие статистические технологии - *

Глава 15. Компьютеры в прикладной статистике - ....*

Глава 16. Основные нерешенные проблемы прикладной статистики - *

Литература к части 4 - *

Приложение 1. Методологические вопросы прикладной статистики - *

Литература к приложению 1 - *

Приложение 2. Глазами американцев: российская дискуссия о прикладной статистике - 690

Приложение 3. Об авторе этой книги - 699

Прикладная статистика - это наука о том, как обрабатывать данные. Методы прикладной статистики активно применяются в технических исследованиях, экономике, теории и практике управления (менеджменте), социологии, медицине, геологии, истории и т.д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во всех отраслях практической деятельности, почти во всех областях теоретических исследований. Настоящий учебник позволяет овладеть современными методами прикладной статистики на уровне, достаточном для использования этих методов в научной и практической деятельности.

Содержание учебника. Учебник посвящен основным методам современной прикладной статистики и состоит из четырех частей. В первой части рассмотрен вероятностно-статистический фундамент прикладной статистики. Для удобства читателей включены основы современной теории вероятностей и математической статистики, на которых базируется прикладная статистика.

Основные проблемы прикладной статистики - описание данных, оценивание, проверка гипотез - разобраны во второй части. Методам статистического анализа числовых величин, многомерного статистического анализа, временных рядов, статистики нечисловых и интервальных данных посвящена третья часть учебника. В заключительной четвертой части обсуждаются перспективы развития прикладной статистики и ее методология. В конце каждой главы приведен список литературных источников, контрольные вопросы и задачи, а также темы докладов, рефератов, исследовательских работ. Нумерация таблиц, рисунков, формул, теорем, примеров дана как по главам, так и по параграфам.

Общее количество статей и книг по прикладной статистике давно превысило 10⁶, из них актуальными к настоящему времени являются не менее 10⁵. Конкретный специалист может овладеть несколькими тысячами из них. Следовательно, ни один исследователь не может претендовать на знакомство более чем с 2-3% актуальных публикаций, и в любом учебнике содержится лишь небольшая часть знаний, накопленных в прикладной статистике. Однако автор надеется, что наиболее важные подходы, идеи, результаты и алгоритмы расчетов включены в учебник. Эта надежда основана на более чем тридцатилетнем опыте теоретической и практической работы в прикладной статистике, на совокупном опыте членов научных сообществ, скрупулезном анализе положения в прикладной статистике при создании Всесоюзной статистической ассоциации, Российской ассоциации статистических методов и Российской академии статистических методов.

В отличие от учебной литературы по математическим дисциплинам, в настоящей книге практически отсутствуют доказательства. Однако в нескольких случаях мы сочли целесообразным их привести. При первом чтении доказательства теорем можно пропустить.

О роли литературных ссылок в учебнике необходимо сказать достаточно подробно. Прежде всего, эта книга представляет собой замкнутый текст, не требующий для своего понимания ничего, кроме знания стандартных учебных курсов высшей математике. Зачем же нужны ссылки? Доказательства всех приведенных в учебнике теорем приведены в ранее опубликованных статьях и монографиях. Дотошный читатель, в частности, при подготовке рефератов и при желании глубже проникнуть в материал учебника, может обратиться к приведенным в каждой главе спискам цитированной литературы. Каждая глава учебника - это введение в большую область прикладной статистики. Приведенные литературные ссылки помогут читателям выйти на передний край теоретических и прикладных работ, познакомиться с доказательствами теорем, включенных в учебник. За многие десятилетия накопились большие книжные богатства и их надо активно использовать.

Включенные в учебник материалы прошли многолетнюю и всестороннюю проверку. Кроме МГТУ им. Н.Э. Баумана, они использовались при преподавании во многих других отечественных и зарубежных образовательных структурах. О некоторых из них можно получить представление из справки "Об авторе этой книги" в конце учебника.

Со времени первого издания в 2006 г. (под названием "Прикладная статистика") учебник был процитирован более 1300 раз в научных и методических публикациях (по данным международной библиометрической базы данных Google Академия). Это свидетельствует о востребованности учебника, об успешности нашего издательского проекта. В 2002, 2003 и 2004 гг. издательством "Экзамен" был выпущен учебник "Эконометрика" А.И. Орлова (три издания). Это также говорит об актуальности тематики настоящего учебника, поскольку под эконометрикой понимают применение статистических методов, прежде всего прикладной статистики, в экономике и управлении (менеджменте).

Для кого написан учебник? Учебник предназначен для студентов различных специальностей, прежде всего технических, управленческих и экономических, слушателей институтов повышения квалификации, структур послевузовского (в том числе второго) образования, в частности, программ МВА ("Мастер делового администрирования"), преподавателей вузов. Он будет полезен инженерам, менеджерам, экономистам, социологам, биологам, медикам, психологам, историкам, другим специалистам, самостоятельно повышающим свой научный уровень. Короче говоря, всем научным и практическим работникам, имеющим отношение к анализу данных.

Учебник может быть использован при изучении дисциплин, полностью или частично посвященных методам анализа результатов наблюдений (измерений, испытаний, опытов). Типовые названия таких дисциплин - "Прикладная статистика", "Организационно-экономическое моделирование", "Эконометрика", "Анализ данных", "Многомерный статистический анализ", "Общая теория статистики", "Планирование эксперимента", "Биометрика", "Теория принятия решений", "Управленческие решения", "Экономико-математическое моделирование", "Математические методы прогнозирования", "Прогнозирование и технико-экономическое планирование", "Хемометрия", "Математические методы в социологии", "Математические методы в геологии" и т.п.

Специалистам по теории вероятностей и математической статистике эта книга также может быть интересна и полезна, поскольку в ней описан современный взгляд на прикладную математическую статистику, основные подходы и результаты в этой области, открывающие большой простор для дальнейших математических исследований.

По окончании типового курса на основе настоящего учебника студенты получат необходимые для практической работы знания, умения и навыки. Кратко укажем их.

Студент будет знать:

- основные понятия теории прикладной статистики;

- основные виды статистических данных;

- основные статистические методы анализа эмпирических экономических данных;

базовые идеи, модели, методы и результаты в области сбора и анализа статистических данных;

- основные статистические показатели, в том числе средние величины (степенные и структурные средние, средние по Коши, средние по Колмогорову) и показатели вариации;

- способы определения репрезентативных выборочных совокупностей;

виды статистических исследований для целей получения первичных статистических данных;

- основные подходы к статистическому изучению взаимосвязи и динамики социально-экономических явлений;

- способы прогнозирования динамики развития явлений

основные подходы к обработке статистических данных с помощью информационных технологий;

- определения и примеры построения экономических индексов.

Студент будет уметь:

- спланировать и провести статистическое исследование

- строить статистические модели;

- применять методы описания и анализа статистических данных

- выбрать оптимальные инструментальные средства обработки данных для решения поставленных задач

- произвести классификацию и группировку статистических данных;

- анализировать динамику развития явлений;

- проводить сравнительный анализ результатов исследования".

- проводить статистический анализ результатов выборочных исследований.

Студент овладеет навыками:

- проведения сбора и анализа конкретных технико-экономических данных на основе базовых статистических методов;

- проведения первичной обработки данных, построения таблиц, диаграмм, сводок и группировок, рядов распределений, расчета основных статистических показателей;

- проведения сбора и анализа конкретных технико-экономических данных на основе базовых статистических методов;

- анализа и выявления связей между изучаемыми экономическими явлениями и процессами;

- поиска и классификации статистической информации;

- основными методами визуализации первичной и аналитической информации о собранных статистических данных;

- навыками построения и анализа рядов динамики, использования коэффициентов корреляции и индексов.

Благодарности. Книга написана в традициях отечественной вероятностно-статистической школы, начало ее современному этапу развития положил академик АН СССР А.Н. Колмогоров, а в области математической статистики - член-корреспондент АН СССР Н.В. Смирнов. Автор искренне благодарен своим учителям - академику АН УССР Б.Г. Гнеденко, члену-корреспонденту АН СССР Л.Н. Большеву, проф. В.В. Налимову.

Содержание учебника соответствует коллективному мнению отечественных специалистов. В 1990 гг. была создана Всесоюзная статистическая ассоциация (ВСА), руководитель секции статистических методов А.И. Орлов был избран вице-президентом ВСА. В XXI в. развитие прикладной статистики продолжается в рамках Российской ассоциации статистических методов и Российской академии статистических методов. Автор искренне благодарен своим многочисленным коллегам, с которыми посчастливилось вместе работать в рамках наших профессиональных объединений.

По ряду причин исторического характера основное место публикаций научных работ по прикладной статистике в нашей стране - раздел "Математические методы исследования" журнала "Заводская лаборатория. Диагностика материалов", в котором напечатано более 90 научных статей автора, большинство из которых нашло отражение в настоящем учебнике. Автор искренне благодарен главным редакторам журнала академикам РАН Н.П. Лякишеву и Ю.А. Карпову, зам. главного редактора М.Г. Плотницкой и М.Е. Носовой. Автор рад предоставленной возможности работать вместе со своими коллегами по секции "Математические методы исследования", прежде всего - с заслуженным деятелем науки РФ проф. В.Г. Горским, проф. А.П. Вощининым, член-корр. РАН проф. Д.А. Новиковым, проф. В.О. Толчеевым, проф. Н.В. Скибицким, доц. Э.М. Кудлаевым.

Хотелось бы выразить признательность всему коллективу кафедры "Экономика и организация производства" и в целом факультета "Инженерный бизнес и менеджмент" Московского государственного технического университета им. Н.Э. Баумана, декану и членам Ученого совета, поддержавшим инициативу о введении методов прикладной статистики в учебный процесс. Автор искренне благодарен заведующему кафедрой "Экономика и организация производства" проф. С.Г. Фалько за постоянную поддержку проектов по разработке и внедрению эконометрических и статистических курсов, декану проф. И.Н. Омельченко и заведующему кафедрой "Промышленная логистика" проф. А.А. Колобову за совместные научные исследования (факультет "Инженерный бизнес и менеджмент"), а также заведующему кафедрой "Вычислительная математика и математическая физика" проф.Б.И. Димитриенко за возможность обучения студентов факультета "Фундаментальные науки".

Автор благодарен своим многочисленным коллегам, слушателям и студентам, прежде всего различных образовательных структур Московского государственного технического университета им. Н.Э.Баумана, Российской экономической академии им. Г.В. Плеханова и Академии народного хозяйства при Правительстве Российской Федерации (программа "Топ-Менеджер"), за полезные обсуждения. Большое спасибо читателям, высказавшим свои замечания по первому изданию учебника, прежде всего Рамиру Капитоновичу и Наталии Черновой.

С текущей научной информацией по статистическим методам анализа данных можно познакомиться на сайте "Высокие статистические технологии" http://orlovs.pp.ru. Большой объем информации по рассматриваемым в учебнике вопросам содержит электронный еженедельник "Эконометрика" (http://subscribe.ru/catalog/science.humanity.econometrika), выходящий с 2000 г. Автор искренне благодарен своему сыну А.А. Орлову, разработчику и администратору сайта, главному редактору еженедельника за многолетний энтузиазм.

Условия для написания книги создала моя любимая жена Л.А. Орлова. Спасибо!

Включенный в учебник материал дает представление о прикладной статистике, соответствующее общепринятому в мире. Изложение доведено до современного уровня научных исследований в этой области. Конечно, возможны различные точки зрения по тем или иным частным вопросам. Автор будет благодарен читателям, если они зададут вопросы, сообщат свои замечания и предложения по адресу издательства или непосредственно автору по электронной почте Е-mail: prof-orlov@mail.ru либо на форуме сайта "Высокие статистические технологии" http://forum.orlovs.pp.ru .

Во втором издании исправлены замеченные недостатки первого издания, переработан и добавлен ряд разделов (в частности, приложение 2).

15 июня 2021 г.

Развитие представлений о статистике. Впервые термин "статистика" мы находим в художественной литературе - в "Гамлете" Шекспира (1602 г., акт 5, сцена 2). Смысл этого слова у Шекспира - знать, придворные. По-видимому, оно происходит от латинского слова status, что в оригинале означает "состояние" или "политическое состояние".

В течение следующих 400 лет термин "статистика" понимали и понимают по-разному. В работе [14] собрано более 200 определений этого термина, некоторые из которых приводятся ниже.

Вначале под статистикой понимали описание экономического и политического состояния государства или его части. Например, к 1792 г. относится определение: "Статистика описывает состояние государства в настоящее время или в некоторый известный момент в прошлом". И в настоящее время деятельность государственных статистических служб (в нашей стране - Федеральной службы государственной статистики, сокращенно Росстат) вполне укладывается в это определение.

Однако постепенно термин "статистика" стал использоваться более широко. По Наполеону Бонапарту - "Статистика - это бюджет вещей". Тем самым статистические методы были признаны полезными не только для административного управления, но и на уровне отдельного предприятия. Согласно формулировке 1833 г. "цель статистики заключается в представлении фактов в наиболее сжатой форме". Приведем еще два высказывания. "Статистика состоит в наблюдении явлений, которые могут быть подсчитаны или выражены посредством чисел" (1895). "Статистика - это численное представление фактов из любой области исследования в их взаимосвязи" (1909).

В ХХ в. статистику часто рассматривали прежде всего как самостоятельную научную дисциплину. "Статистика есть совокупность методов и принципов, согласно которым проводится сбор, анализ, сравнение, представление и интерпретация числовых данных" (1925). В 1954 г. академик АН УССР Б.В. Гнеденко дал следующее определение: "Статистика состоит из трех разделов:

1) сбор статистических сведений, т.е. сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;

2) статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;

3) разработка приемов статистического наблюдения и анализа статистических данных. Последний раздел, собственно, и составляет содержание математической статистики".

Термин "статистика" употребляют еще в двух значениях. Во-первых, в обиходе под "статистикой" часто понимают набор количественных данных о каком-либо явлении или процессе. Во-вторых, статистикой называют функцию от результатов наблюдений, используемую для оценивания характеристик и параметров распределений и проверки гипотез.

Чтобы подойти к термину "прикладная статистика", рассмотрим историю развития статистических исследований.

Краткая история статистических методов. Типовые примеры раннего этапа применения статистических методов описаны в Ветхом Завете (см., например, Книгу Чисел). Там, в частности, приводится число воинов в различных племенах. С математической точки зрения дело сводилось к подсчету числа попаданий значений наблюдаемых признаков в определенные градации.

В дальнейшем результаты обработки статистических данных стали представлять в виде таблиц и диаграмм, как это и сейчас делают органы государственной статистики. Надо признать, что по сравнению с Ветхим Заветом есть прогресс - в Библии не было таблиц и диаграмм. Однако нет продвижения по сравнению с работами российских статистиков конца XIX - начала XX вв. (типовой монографией тех времен можно считать книгу [12], которая в настоящее время ещё легко доступна).

Сразу после возникновения теории вероятностей (Паскаль, Ферма, XVII в.) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от вероятности рождения девочки (и от 0,5), анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т.д. Имеется достаточно много публикаций по истории теории вероятностей с описанием раннего этапа развития статистических методов исследований; к лучшим из них относится очерк [3].

В 1794 г. (по другим данным - в 1795 г.) К. Гаусс разработал метод наименьших квадратов, один из наиболее популярных ныне статистических методов, и применил его при расчете орбиты астероида Церера - для борьбы с ошибками астрономических наблюдений [8]. В ХIХ веке заметный вклад в развитие практической статистики внес бельгиец А. Кетле, показавший на основе анализа большого числа реальных данных устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей [22]. Интересно, что основные идеи статистического приемочного контроля и сертификации продукции обсуждались академиком Петербургской Академии наук М.В. Остроградским (1801-1862) и применялись в российской армии ещё в середине Х1Х в. [3]. Статистические методы управления качеством и сертификации продукции сейчас весьма актуальны [20].

Отсчет современного этапа развития статистических методов можно начать с 1900 г., когда англичанин К. Пирсон основал журнал "Biometrika". Первая треть ХХ в. прошла под знаком параметрической статистики. Изучались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми семейства Пирсона. Наиболее популярным было нормальное (гауссово) распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.

Разработанную в первой трети ХХ в. теорию анализа данных называют параметрической статистикой, поскольку ее основной объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением, и т.д. Однако подобных моделей нет в подавляющем большинстве реальных ситуаций, и приближение реального распределения с помощью кривых из семейства Пирсона или его подсемейств - чисто формальная операция.

Именно из таких соображений критиковал параметрическую статистику академик АН СССР С.Н. Бернштейн в 1927 г. в своем докладе на Всероссийском съезде математиков [1]. Однако эта теория, к сожалению, до сих пор остается основой преподавания статистических методов и продолжает использоваться основной массой прикладников, далеких от новых веяний в статистике. Почему так происходит? Чтобы попытаться ответить на этот вопрос, обратимся к наукометрии.

Наукометрия статистических исследований. В рамках движения за создание Всесоюзной статистической ассоциации (учреждена в 1990 г.) был проведен анализ статистики как области научно-практической деятельности. Он показал, в частности, что актуальными для специалистов в настоящее время являются не менее чем 100 тысяч публикаций (подробнее см. статьи [17,18]). Реально же каждый из нас знаком с существенно меньшим количеством книг и статей. Так, в известном трехтомнике М. Кендалла и А. Стьюарта [5-7] - наиболее полном на русском языке издании по статистическим методам - всего около 2 тысяч литературных ссылок. При всей очевидности соображений о многократном дублировании в публикациях ценных идей приходится признать, что каждый специалист по прикладной статистике владеет лишь небольшой частью накопленных в этой области знаний. Не удивительно, что приходится постоянно сталкиваться с игнорированием или повторением ранее полученных результатов, с уходом в тупиковые (с точки зрения практики) направления исследований, с беспомощностью при обращении к реальным данным, и т.д. Все это - одно из проявлений адапционного механизма торможения развития науки, о котором еще более 30 лет назад писали В.В. Налимов и другие науковеды (см., например, [13]).

Традиционный предрассудок состоит в том, что каждый новый результат, полученный исследователем - это кирпич в непрерывно растущее здание науки, который непременно будет проанализирован и использован научным сообществом, а затем и при решении практических задач. Реальная ситуация - совсем иная. Основа профессиональных знаний исследователя, инженера, экономиста, менеджера, социолога, историка, геолога, медика закладывается в период обучения. Затем знания пополняются в том узком направлении, в котором работает специалист. Следующий этап - их тиражирование новому поколению. В результате вузовские учебники отстоят от современного развития на десятки лет. Так, учебники по математической статистике, согласно мнению экспертов, по научному уровню в основном соответствуют 40-60-м годам ХХ в. А потому середине ХХ в. соответствует большинство вновь публикуемых исследований и тем более - прикладных работ. Одновременно приходится признать, что результаты, не вошедшие в учебники, независимо от их ценности почти все забываются.

Активно продолжается развитие тупиковых направлений. Психологически это понятно. Приведу пример из своего опыта. В свое время по заказу Госстандарта я разработал методы оценки параметров гамма-распределения [4]. Поэтому мне близки и интересны работы по оцениванию параметров по выборкам из распределений, принадлежащих тем или иным параметрическим семействам, понятия функции максимального правдоподобия, эффективности оценок, использование неравенства Рао-Крамера и т.д. К сожалению, я знаю, что это - тупиковая ветвь теории статистики, поскольку реальные данные не подчиняются каким-либо параметрическим семействам, надо применять иные статистические методы, о которых речь пойдет ниже. Понятно, что специалистам по параметрической статистике, потратившим многие годы на совершенствование в своей области, психологически трудно согласиться с этим утверждением, в том числе и мне. Но необходимо идти вперед. Поэтому настоящий учебник очищен от тупиковых подходов. В том числе и от неравенства Рао-Крамера.

Появление прикладной статистики. В нашей стране термин "прикладная статистика" вошел в широкое употребление в 1981 г. после выхода массовым тиражом (33 940 экз.) сборника "Современные проблемы кибернетики (прикладная статистика)". В этом сборнике обосновывалась трехкомпонентная структура прикладной статистики [15]. В нее входят ориентированные на прикладную деятельность статистические методы анализа данных (эту область можно назвать прикладной математической статисткой и включать также и в прикладную математику). Однако прикладную статистику нельзя целиком относить к математике. Она включает в себя две внематематические области.
Во-первых, методологию организации статистического исследования: как планировать исследование, как собирать данные, как подготавливать данные к обработке, как представлять результаты. Во-вторых, организацию компьютерной обработки данных, в том числе разработку и использование баз данных и электронных таблиц, статистических программных продуктов, например, диалоговых систем анализа данных.

В нашей стране термин "прикладная статистика" использовался и ранее 1981 г., но лишь внутри сравнительно небольших и замкнутых групп специалистов [15].

Прикладная статистика и математическая статистика - это две разные научные дисциплины. Различие четко проявляется и при преподавании. Курс математической статистики состоит в основном из доказательств теорем, как и соответствующие учебные пособия. В курсах прикладной статистики основное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся как обоснования этих алгоритмов, доказательства же, как правило, опускаются (их можно найти в научной литературе).

Структура современной статистики. Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации [17]. Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении методов прикладной статистики к конкретным областям знаний и отраслям народного хозяйства появляются научно-практические дисциплины, например: "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике" [20]. Математическая статистика играет роль математического фундамента для прикладной статистики.

К настоящему времени очевидно четко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. Начиная с 70-х годов ХХ в., исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя.

Сам термин "прикладная статистика" возник как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.

Рассматриваемое соотношение математической и прикладной статистики отнюдь не являются исключением. Как правило, математические дисциплины проходят в своем развитии ряд этапов. Вначале в какой-либо прикладной области возникает необходимость в применении математических методов и накапливаются соответствующие эмпирические приемы (для геометрии это - "измерение земли", т.е. землемерие, в Древнем Египте). Затем возникает математическая дисциплина со своей аксиоматикой (для геометрии это - время Евклида). Далее идет внутриматематическое развитие и преподавание (считается, что большинство результатов элементарной геометрии получено учителями гимназий в XIX в.). При этом на запросы исходной прикладной области перестают обращать внимание, и та порождает новые научные дисциплины (сейчас "измерением земли" занимается не геометрия, а геодезия и картография). После этого научный интерес к исходной дисциплине иссякает, но преподавание по традиции продолжается (элементарная геометрия до сих пор изучается в средней школе, хотя трудно понять, в каких практических задачах может понадобиться, например, теорема о том, что высоты треугольника пересекаются в одной точке). Следующий этап - окончательное вытеснение дисциплины из реальной жизни в историю науки (объем преподавания элементарной геометрии в настоящее время постепенно сокращается; в частности, ей все меньше уделяется внимания на вступительных экзаменах в вузах). К интеллектуальным дисциплинам, закончившим свой жизненный путь, относится средневековая схоластика. Как справедливо отмечает проф. МГУ им. М.В. Ломоносова В.Н. Тутубалин [23], теория вероятностей и математическая статистика успешно двигаются по ее пути - вслед за элементарной геометрией.

Подведем итог. Хотя статистические данные собираются и анализируются с незапамятных времен (см., например, Книгу Чисел в Ветхом Завете), современная математическая статистика как наука была создана, по общему мнению специалистов, сравнительно недавно - в первой половине ХХ в. Именно тогда были разработаны основные идеи и получены результаты, излагаемые ныне в учебных курсах математической статистики. После чего специалисты по математической статистике занялись внутриматематическими проблемами, а для теоретического обслуживания проблем практического анализа статистических данных стала формироваться новая дисциплина - прикладная статистика.

В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Разрыв между математической и прикладной статистикой проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки, в том числе в таких ответственных документах, как государственные стандарты по статистическим методам [19].

Что дает прикладная статистика народному хозяйству? Так называлась статья [16], в которой приводились многочисленные примеры успешного использования методов прикладной математической статистики при решении практических задач. Перечень примеров можно продолжать практически безгранично (см., например, недавнюю сводку [21]).

Методы прикладной статистики используются в зарубежных и отечественных экономических и технических исследованиях, работах по управлению (менеджменту), в медицине, социологии, психологии, истории, геологии и других областях. Их применение дает заметный экономический эффект. Например, в США - не менее 20 млрд долл. ежегодно только в области статистического контроля качества. В 1988 г. затраты на статистический анализ данных в нашей стране оценивались в 2 млрд руб. ежегодно [9]. Согласно расчетам сравнительной стоимости валют на основе потребительских паритетов [20], эту величину можно сопоставить с 2 млрд долл. США. Следовательно, объем отечественного "рынка статистических услуг" был на порядок меньше, чем в США, что совпадает с оценками и по другим показателям, например, по числу специалистов.

Публикации по новым статистическим методам, по их применениям в технико-экономических исследованиях, в инженерном деле постоянно появляются, например, в журнале "Заводская лаборатория", в секции "Математические методы исследования". Надо назвать также журналы "Автоматика и телемеханика" (издается Институтом проблем управления Российской академии наук), "Экономика и математические методы" (издается Центральным экономико-математическим институтом РАН).

Однако необходимо констатировать, что для большинства менеджеров, экономистов и инженеров прикладная статистика является пока экзотикой. Это объясняется тем, что в вузах современным статистическим методам почти не учат. Во всяком случае, по состоянию на 2021 г. каждый квалифицированный специалист в этой области - самоучка.

Этому выводу не мешает то, что в вузовских программах обычно есть два курса, связанных со статистическими методами. Один из них - "Теория вероятностей и математическая статистика". Этот небольшой курс обычно читают специалисты с математических кафедр. Они успевают дать лишь общее представление об основных понятиях математической статистики. Кроме того, внимание математиков обычно сосредоточено на внутриматематических проблемах, их больше интересует доказательства теорем, а не применение современных статистических методов в задачах экономики и менеджмента. Другой курс - "Статистика" или "Общая теория статистики", входящий в стандартный блок экономических дисциплин. Фактически он является введением в прикладную статистику и содержит первые начала эконометрических методов (по состоянию на 1900 г.).

Прикладная статистика как учебный предмет опирается на два названных вводных курса. Она призвана вооружить специалиста современным статистическим инструментарием. Специалист - это инженер, экономист, менеджер, геолог, медик, социолог, психолог, историк, химик, физик и т.д. Во многих странах мира - Японии и США, Франции и Швейцарии, Перу и Ботсване и др. - статистическим методам обучают в средней школе. ЮНЕСКО постоянно проводят конференции по вопросам такого обучения [24]. В СССР и СЭВ, а теперь - по плохой традиции - и в России игнорируют этот предмет в средней школе и лишь слегка затрагивают его в высшей. Результат на рынке труда очевиден - снижение конкурентоспособности специалистов.

Проблемы прикладной статистики постоянно обсуждаются специалистами. Широкий интерес вызвала дискуссия в журнале "Вестник статистики", в рамках которой были, в частности, опубликованы статьи [16,17]. На появление в нашей стране прикладной статистики отреагировали и в США [10].

В нашей стране получены многие фундаментальные результаты прикладной статистики. Огромное значение имеют работы академика РАН А.Н. Колмогорова [11]. Во многих случаях именно его работы дали первоначальный толчок дальнейшему развитию ряда направлений прикладной статистики. Зачастую еще 50-70 лет назад А.Н. Колмогоров рассматривал те проблемы, которые только сейчас начинают широко обсуждаться. Как правило, его работы не устарели и сейчас. Свою жизнь посвятили прикладной статистике члены-корреспонденты АН СССР Н.В. Смирнов и Л.Н. Большев. В настоящем учебнике постоянно встречаются ссылки на лучшую публикацию ХХ в. по прикладной статистике - составленные ими и подробно откомментированные "Таблицы математической статистики" [2].

Структура учебника. Настоящий учебник состоит из четырех основных частей. Первая из них посвящена фундаменту здания современной прикладной статистики. Анализируются различные виды статистических данных - количественных и категоризованных (качественных), нечисловых и нечетких, соответствующих тем или иным шкалам измерения. Современная прикладная статистика позволяет анализировать данные в пространствах произвольной природы, при этом ее математический аппарат опирается на использование расстояний в таких пространствах. Дается представление о введении расстояний с помощью тех или иных систем аксиом.

Современная прикладная статистика основана на использовании вероятностных моделей. Поэтому мы сочли полезным включить в учебник главу 2, посвященную основам вероятностно-статистических методов описания неопределенностей в прикладной статистике. Обсуждаются понятия вероятностного пространства, случайной величины, ее распределения и характеристик. Дается представление об основных проблемах прикладной статистики - описании данных, оценивании, проверке гипотез. Следующая глава посвящена выборочным исследованиям. Рассматриваются примеры применения случайных выборок при оценивании функции спроса и изучении предпочтений потребителей.

Ряд результатов теории вероятностей, составляющих теоретическую базу прикладной статистики, приведен в главе 4. Рассмотрены законы больших чисел, центральные предельные теоремы, теоремы о наследовании сходимости, метод линеаризации и принцип инвариантности. Показано, что нечеткие множества можно рассматривать как проекции случайных множеств. Обсуждаются проблемы устойчивости статистических выводов.

Основным проблемам прикладной статистики посвящена вторая часть. Начинается она с описания данных. При обсуждении моделей порождения данных показано, в частности, что распределения реальных данных, как правило, не являются нормальными. Рассмотрено построение таблиц и использование выборочных характеристик. Выбор средних величин увязан со шкалами измерения данных и видом соответствующих инвариантных алгоритмов. В рамках вероятностных моделей порождения нечисловых данных введены эмпирические и теоретические средние в пространствах произвольной природы, для них доказаны законы больших чисел. В прикладной статистике широко используются непараметрические ядерные оценки плотности, в том числе в дискретных пространствах.

Среди методов оценивания параметров предпочтение отдается одношаговым оценкам. Установлено поведение решений экстремальных статистических задач при росте объемов выборок. Эти результаты позволяют установить состоятельность обычно используемых оценок. В рамках теории робастности статистических процедур изучается устойчивость оценок к малым отклонениям от исходных предпосылок.

Завершающая глава второй части посвящена проверке гипотез. Обоснован метод моментов проверки гипотез. Продемонстрирована неустойчивость параметрических методов отбраковки выбросов. Развита предельная теория непараметрических критериев. На основе теории несмещенных оценок разработан метод проверки гипотез по совокупности малых выборок. Обсуждается проблема множественных проверок статистических гипотез.

В третьей части рассмотрены конкретные методы прикладной статистики, сгруппированные по типу обрабатываемых данных. Статистический анализ числовых величин начинается с оценивания основных характеристик распределения. Затем обсуждаются методы проверки однородности характеристик двух независимых выборок, в том числе двухвыборочный критерий Вилкоксона и состоятельные критерии проверки однородности независимых выборок. Среди различных методов проверки однородности связанных выборок выделяются ориентированные на проверку гипотезы симметрии распределения.

В многомерном статистическом анализе от коэффициентов корреляции переходим к основам линейного регрессионного анализа, рассматриваемым в основном на примере восстановления линейной зависимости между двумя переменными. Уделено внимание основам теории классификации и статистическим методам классификации, методам снижения размерности, индексам и их применению (на примере индекса инфляции).

В следующей главе рассмотрены методы анализа и прогнозирования временных рядов. Внимание уделено оцениванию длины периода и периодической составляющей. Рассмотрен один из наиболее современных методов статистики временных рядов - метод ЖОК оценки результатов взаимовлияний факторов. Обсуждаются вопросы моделирования и анализа многомерных временных рядов, в том числе с учетом балансовых соотношений.

Одно из центральных мест в учебнике занимает статистика нечисловых данных. Рассмотрена структура этой области прикладной статистики. Развиваются теория случайных толерантностей и теория люсианов. Проанализированы метод парных сравнений и статистика нечетких множеств. Обсуждается применение статистики нечисловых данных в теории и практике экспертных оценок.

Заключительная глава третьей части посвящена развитой в течение последних 40 лет статистике интервальных данных. После обсуждения основных идей статистики интервальных данных рассмотрены интервальные варианты основных методов прикладной статистики. Речь идет об оценивании характеристик и параметров распределения, задачах проверки гипотез, линейном регрессионном анализе интервальных данных, интервальном дискриминантном анализе и интервальном кластер-анализе. В качестве примера практического использования разобрано применение статистики интервальных данных для оценки погрешностей характеристик финансовых потоков инвестиционных проектов. Завершается глава обсуждением места статистики интервальных данных в прикладной статистике.

В четвертой части учебника речь идет об основных проблемах современной прикладной статистики. Выделены "точки роста" этой научно-практической дисциплины. Обсуждаются вопросы развития и внедрения высоких статистических технологий. Рассмотрена роль компьютеров при вероятностно-статистическом моделировании реальных явлений и процессов и их использование при изучении теоретических проблем анализа статистических данных. В конце четвертой части сформулированы основные нерешенные проблемы современной прикладной статистики.

В учебник включено приложение, в котором рассмотрены методологические вопросы прикладной статистики.

Развитие прикладной статистики в нашей стране бурно продолжается. О нем рассказано в монографии [25, c. 7-99] и статьях [26 - 31]. Поскольку эконометрика - это наука о статистических методах в экономике и управлении, то читателям настоящей книги будет полезен учебник [32].

Таким образом, настоящий учебник построен на основе обобщения опыта многих специалистов по анализу конкретных технических, экономических, медицинских и иных данных и отражает современное представление о прикладной статистике как самостоятельной научно-практической дисциплине.

1. Бернштейн С.Н. Современное состояние теории вероятностей и ее приложений. В сб.: Труды Всероссийского съезда математиков в Москве 27 апреля - 4 мая 1927 г. М.-Л.: ГИЗ, 1928. С.50-63.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.). 474 с.

3. Гнеденко Б.В. Очерк по истории теории вероятностей. М.:УРСС, 2001. 88 с.

4. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения. М.: Изд-во стандартов, 1984. 53 с. (В настоящее время отменен как нормативный документ, но может использоваться как научная публикация.)

5. Кендалл М., Стьюарт А. Теория распределений. М.: Наука, 1966. 566 с.

6. Кендалл М., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. 899 с.

7. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976. 736 с.

8. Клейн Ф. Лекции о развитии математики в ХIХ столетии. Часть I. М.-Л.: Объединенное научно-техническое издательство НКТП СССР, 1937. 432 с.

9. Комаров Д.М., Орлов А.И. Роль методологических исследований в разработке методоориентированных экспертных систем (на примере оптимизационных и статистических методов). В сб.: Вопросы применения экспертных систем. Минск: Центросистем, 1988. С.151-160.

10. Котц С., Смит К. Пространство Хаусдорфа и прикладная статистика: точка зрения ученых СССР. The American Statistician. November 1988. Vol. 42.
No. 4. Р. 241-244.

11. Кудлаев Э.М., Орлов А.И. Вероятностно-статистические методы исследования в работах А.Н.Колмогорова / Заводская лаборатория. 2003. Т.69. No. 5. С.55-61.

12. Ленин В.И. Развитие капитализма в России. Процесс образования внутреннего рынка для крупной промышленности. М.: Политиздат, 1986. XII. 610 с.

13. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.

14. Никитина Е.П., Фрейдлина В.Д., Ярхо А.В. Коллекция определений термина "статистика". М.: МГУ, 1972. 46 с.

15. Орлов А.И. О развитии прикладной статистики. В сб.: Современные проблемы кибернетики (прикладная статистика). М.: Знание, 1981. С.3-14.

16. Орлов А.И. Что дает прикладная статистика народному хозяйству? / Вестник статистики. 1986. No. 8. С.52-56.

17. Орлов А.И. О перестройке статистической науки и её применений / Вестник статистики. 1990. No. 1. С.65-71.

18. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов / Заводская лаборатория. 1992. Т.58. No. 1. С.67-74.

19. Орлов А.И. Сертификация и статистические методы. / Заводская лаборатория. 1997. Т.63. No. 3. С.55-62.

20. Орлов А.И. Эконометрика: Учеб. для вузов. Изд. 3-е, испр. и доп. М.: Изд-во "Экзамен", 2004. 576 с.

21. Орлов А.И., Орлова Л.А. Применение эконометрических методов при решении задач контроллинга. / Контроллинг. 2003. No.4. С. 50-54.

22. Плошко Б.Г., Елисеева И.И. История статистики: Учеб. пособие. М.: Финансы и статистика. 1990. 295 с.

23. Тутубалин В.Н. Границы применимости (вероятностно-статистические методы и их возможности). М.: Знание, 1977. 64 с.

24. The teaching of statistics / Studies in mathematical education. Vol.7. Paris, UNESCO, 1991. 258 pp.

25. Лойко В.И., Луценко Е.В., Орлов А.И. Высокие статистические технологии и системно-когнитивное моделирование в экологии : монография. - Краснодар : КубГАУ, 2019. - 258 с.

26. Орлов А.И. Непараметрическая и прикладная статистика в нашей стране // Научный журнал КубГАУ. 2014. No.101. С. 197-226.

27. Орлов А.И. Прикладная статистика - состояние и перспективы // Научный журнал КубГАУ. 2016. No.119. С. 44-74.

28. Орлов А.И.Статистика нечисловых данных - центральная часть современной прикладной статистики // Научный журнал КубГАУ. 2020. No.156. С. 111 - 142.

29. Орлов А.И. Вероятностно-статистические модели данных - основа методов прикладной статистики / Заводская лаборатория. Диагностика материалов. 2020. Т.86. No. 7. С. 5-6.

30. Орлов А.И. Основные требования к методам анализа данных (на примере задач классификации) / Научный журнал КубГАУ. 2020. No.159. С. 239-267.

31. Орлов А.И. Смена парадигм в прикладной статистике // Заводская лаборатория. Диагностика материалов. 2021. Т.87. No. 7. С. 6-7.

32. Агаларов З.С,, Орлов А.И. Эконометрика : учебник. - М.: Издательско-торговая корпорация "Дашков и К", 2021. - 380 с.