Предварительный ответ: для докладчика АД = прикладная статистика. Вопрос к участникам заседания: Не следует ли поменять название дисциплины "прикладная статистика / статистические методы" на "анализ данных"?

   За октябрь 2004 - февраль 2005 учебник "Прикладная статистика" с сайта http://orlovs.pp.ru скачали 4078 раз. В Американской статистической ассоциации - около 20000 членов, в Королевском статистическом обществе - 10000.

   Проблема выбора термина.

   "Когда я использую какое-нибудь слово, оно означает только то, что я хочу, чтобы оно означало". Прав ли Шалтай-Болтай?

   Термин используется при поиске информации, обучении, в организационной работе, при манипуляции сознанием.

   Иногда анализ данных противопоставляют вероятностно-статистическим методам. На наш взгляд, детерминированные алгоритмы и вероятностные модели - два последовательных этапа разработки конкретного метода АД. Примеры: частота и доверительная оценка вероятности, расчет среднего арифметического и доверительное оценивание математического ожидания.

   Возникает проблема выбора модели. Например, распределение результатов наблюдений нормальное (параметрическая модель) или неизвестное (непараметрическая модель).

   Библия (Книга Чисел)

   Статистики в "Гамлете"

   Более 200 определений статистики в сборнике под ред. В.В. Налимова

   Земская статистика.

   ЦСУ, Госкомстат, Федеральная служба государственной статистики (ФСГС) - уровень XIX в.

   Ассоциация с деятельностью ФСГС позорит нас. Мы - не ФСГС.

   До второй мировой войны - развитие параметрической теории.

   К. Пирсон, Стьюдент (Госсет), Фишер, Нейман и Е.Пирсон

   Учебник Г. Крамера и последующие сочинения

   Непараметрическая статистика (Кендалл, Спирмен, Колмогоров, Смирнов, Вилкоксон)

   Одни и те же математические и статистические методы и модели могут с успехом применяться в самых разных областях науки и практики. Статистические методы и модели весьма эффективны в социологических, социально-экономических, управленческих, технических и технико-экономических исследованиях, медицине, истории, практически в любой прикладной отрасли и области знания.

   Число публикаций - порядка 10⁶, актуальных - порядка 10⁵, отдельный специалист знает порядка 10³, максимум 2-3%.

   1956 - Создание журнала "Теория вероятностей и ее применения"

   1960-70-е - расцвет

   1961 - создание секции "Математические методы исследования" в журнале "Заводская лаборатория".

   1964 - первое издание "Таблиц математической статистики" Л.Н. Большева и Н.В. Смирнова

   1965 - создание Межфакультетской лаборатории статистических методов (МЛСМ)

   Смерть ректора МГУ И.Г. Петровского - уничтожение МЛСМ (1975)

   Смерть А.И. Берга (1979) - ликвидация секции планирования эксперимента в Научном Совета АН СССР по комплексной проблеме "Кибернетика"

   Смерть Л.Н. Большева (1978) - разрыв между математической статистикой и прикладной статистикой

   1989 - Создание Всесоюзного центра статистических методов и информатики

   1990 - Создание Всесоюзной статистической ассоциации

   1992 - Создание Российской ассоциации статистических методов

   В нашей стране термин "прикладная статистика" вошел в широкое употребление в 1981 г. после выхода массовым тиражом (33940 экз.) сборника "Современные проблемы кибернетики (прикладная статистика)" под редакцией А.И.Орлова. В этом сборнике обосновывалась трехкомпонентная структура прикладной статистики.

   1) В нее входят ориентированные на прикладную деятельность математико-статистические методы анализа данных (эту область можно назвать прикладной математической статистикой и включать также и в прикладную математику).

   Однако прикладную статистику нельзя целиком относить к математике. Она включает в себя две внематематические области: 2) Методология организации статистического исследования: как планировать исследование, как собирать данные, как подготавливать данные к обработке, как представлять результаты. 3) Организация компьютерной обработки данных, в том числе разработка и использование баз данных и электронных таблиц, статистических программных продуктов, например, диалоговых систем анализа данных.

   Структура современной статистики. Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении методов прикладной статистики к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике". Математическая статистика играет роль математического фундамента для прикладной статистики.

   1) Вначале в какой-либо прикладной области возникает необходимость в применении математических методов, накапливаются соответствующие эмпирические приемы (для геометрии это - "измерение земли", т.е. землемерие, в Древнем Египте).

   2) Затем возникает математическая дисциплина со своей аксиоматикой (для геометрии это - время Евклида).

   3) Потом идет внутриматематическое развитие и преподавание (считается, что большинство результатов элементарной геометрии получено учителями гимназий в XIX в.). При этом на запросы исходной прикладной области перестают обращать внимание, и та порождает новые научные дисциплины (сейчас "измерением земли" занимается не геометрия, а геодезия и картография).

   4) Затем научный интерес к исходной дисциплине иссякает, но преподавание по традиции продолжается (элементарная геометрия до сих пор изучается в средней школе, хотя трудно понять, в каких практических задачах может понадобиться, например, теорема о том, что высоты треугольника пересекаются в одной точке).

   5) Следующий этап - окончательное вытеснение дисциплины из реальной жизни в историю науки (объем преподавания элементарной геометрии в настоящее время постепенно сокращается, в частности, ей все меньше уделяется внимания на вступительных экзаменах в вузах).

   7) К интеллектуальным дисциплинам, закончившим свой жизненный путь, относится средневековая схоластика.

   Теория вероятностей и математическая статистика успешно двигаются по ее пути - вслед за элементарной геометрией.

   Итог. Статистические данные собираются и анализируются с незапамятных времен (см., например, Книгу Чисел в Ветхом Завете). Однако современная математическая статистика была создана сравнительно недавно, а именно, в первой половине ХХ века. Именно тогда были разработаны ее основные идеи, получены результаты, излагаемые ныне в учебных курсах математической статистики. Затем математики занялись разработкой внутриматематических проблем, а для создания новых статистических технологий и теоретического обслуживания практики анализа статистических данных стала использоваться новая дисциплина - прикладная статистика.

   Внутри прикладной статистики наиболее значимым нам представляется создание и развитие статистики объектов нечисловой природы. Ее называют также статистикой нечисловых данных или нечисловой статистикой. Большое значение имеет развитие непараметрической статистики и методов снижения размерности. Рассмотрим три перечисленные "точки роста" прикладной статистики.

   Статистика объектов нечисловой природы как часть прикладной статистики. Согласно общепринятой в настоящее время классификации статистических методов прикладная статистика делится на четыре области:

   статистика (числовых) случайных величин;

   многомерный статистический анализ;

   статистика временных рядов и случайных процессов;

   статистика объектов нечисловой природы (сттистика нечисловых данных, нечисловая статистика).

   Анализ динамики развития прикладной статистики приводит к выводу, что в XXI в. статистика объектов нечисловой природы станет центральной областью прикладной статистики, поскольку содержит наиболее общие подходы и результаты.

   Исходный объект в прикладной математической статистике - это выборка. В классической математической статистике элементы выборки - это числа. В многомерном статистическом анализе - вектора. А в нечисловой статистике элементы выборки - это объекты нечисловой природы, которые нельзя складывать и умножать на числа. Другими словами, объекты нечисловой природы лежат в пространствах, не имеющих векторной структуры. Примерами объектов нечисловой природы являются:

   - значения качественных признаков, т.е. результаты кодировки объектов (например, ответов на вопросы социологической анкеты) с помощью заданного перечня категорий (градаций);

   - бинарные отношения - упорядочения (ранжировки), классификации (отношения эквивалентности), толерантности. Толерантность - это рефлексивное симметричное отношение. Отличается от классификации (отношения эквивалентности) возможным отсутствием транзитивности. Толерантностями естественно описывать отношения сходства или знакомства.

   - результаты парных сравнений, т.е. последовательности из 0 и 1;

   - множества (обычные или нечеткие),

   - слова, предложения, тексты;

   - вектора, координаты которых - совокупность значений разнотипных признаков, часть из них носит качественный характер, а часть - количественный;

   - ответы на вопросы экспертной, маркетинговой или социологической анкеты, часть из которых носит количественный характер (возможно, интервальный), часть сводится к выбору одной из нескольких подсказок, а часть представляет собой тексты; и т.д.

   В течение 1970-х годов на основе запросов социологии, экономики, техники и медицины развивались конкретные направления статистики объектов нечисловой природы. Были установлены связи между конкретными видами таких объектов, разработаны для них вероятностные модели.

   Следующий этап - выделение статистики объектов нечисловой природы в качестве самостоятельного направления в прикладной статистике, ядром которого являются методы статистического анализа данных произвольной природы. Программа развития этого нового научного направления впервые была сформулирована в 1979 г. Реализация этой программы была осуществлена в 1980-е годы. Для работ этого периода характерна сосредоточенность на внутренних проблемах нечисловой статистики.

   К 1990-м годам статистика объектов нечисловой природы с теоретической точки зрения была достаточно хорошо развита, основные идеи, подходы и методы были разработаны и изучены математически, в частности, доказано достаточно много теорем. Наступило время перейти к применению полученных результатов на практике.

   Непараметрическая статистика. В первой трети ХХ века в работах Спирмена и Кендалла появились первые непараметрические методы, основанные на коэффициентах ранговой корреляции. Но непараметрика, не делающая нереалистических предположений о том, что функции распределения результатов наблюдений принадлежат тем или иным параметрическим семействам распределений, стала заметной частью статистики лишь со второй трети ХХ века, после работ А.Н.Колмогорова и Н.В.Смирнова 1930-х годов. После второй мировой войны развитие непараметрической статистики пошло быстрыми темпами. К настоящему времени с помощью непараметрических методов можно решать практически тот же круг статистических задач, что и с помощью параметрических. Все большую роль играют непараметрические оценки плотности, непараметрические методы регрессии и распознавания образов (дискриминантного анализа). В нашей стране непараметрические методы получили достаточно большую известность после выхода в 1965 г. сборника статистических таблиц Л.Н. Большева и Н.В.Смирнова, содержащего подробные таблицы для основных непараметрических критериев.

   Тем не менее, параметрические методы всё еще популярнее непараметрических. Неоднократно публиковались экспериментальные данные, показывающие, что распределения реально наблюдаемых случайных величин, в частности, ошибок измерения, в подавляющем большинстве случаев отличны от нормальных (гауссовских). Тем не менее, теоретики продолжают строить и изучать статистические модели, основанные на гауссовости, а практики - пытаться применять подобные методы и модели. С точки зрения прикладной статистики такие попытки напоминают поиск ключей под фонарем, где светло, а не там, где они потеряны.

   Почему же неадекватные параметрические методы довольно часто позволяют получать практически полезные выводы? Прикладная статистика позволяет изучать свойства конкретных алгоритмов анализа данных на основе вероятностно-статистических моделей. Например, рассмотрим простейший алгоритм анализа данных - расчет выборочного среднего арифметического. Если мы хотим перенести результаты с выборки на более широкую совокупность, то вынуждены использовать ту или иную модель порождения данных, например, рассматривать наблюденные значения как реализации независимых одинаково распределенных случайных величин (векторов или объектов иной природы). Эта модель позволяет обосновать использование выборочного среднего арифметического как точечной оценки теоретического среднего (математического ожидания), указать (доверительные) границы для теоретического среднего и решить иные задачи. В частности, оказывается, что доверительные границы, рассчитанные при нереалистическом предположении нормальности, при увеличении объема выборки сближаются с адекватными непараметрическими границами, построенными на основе Центральной Предельной Теоремы теории вероятностей. В то же время методы отбраковки резко выделяющихся наблюдений, основанные на гипотезе нормальности, не являются адекватными.

   Отметим "широту" непараметрики - в нее входят все методы, не опирающиеся на ту или иную модель принадлежности функций распределения результатов наблюдений к некоторому параметрическому семейству распределений. Ранговые методы составляют лишь часть одномерной непараметрики, как и методы, предполагающие непрерывность функции распределения результатов наблюдений, и "свободные от распределения". Например, выборочное среднее арифметическое - это непараметрическая оценка среднего в модели, в которой результаты наблюдений имеют произвольную функцию распределения с конечной дисперсией.

   Модели и предельные теоремы в многомерном шкалировании. На использовании расстояний (мер близости, показателей различия) d(X,Y) между признаками Х и У основан обширный класс методов многомерного шкалирования. Основная идея состоит в представлении каждого объекта точкой геометрического пространства (обычно размерности 1, 2 или 3), координатами которой служат значения скрытых (латентных) факторов, в совокупности достаточно адекватно описывающих объект. При этом отношения между объектами заменяются отношениями между точками - их представителями. Так, данные о сходстве объектов - расстояниями между точками, данные о превосходстве - взаимным расположением точек.

   Встает проблема оценки истинной размерности факторного пространства. Рассмотрим ее на примере обработки данных о сходстве объектов с помощью метрического шкалирования.

   Пусть имеется n объектов О(1), О(2), ..., O(n), для каждой пары объектов О(i), O(j) задана мера их сходства s(i,j). Считаем, что всегда s(i,j) = s(j,i). Происхождение чисел s(i,j) не имеет значения для описания работы алгоритма. Они могли быть получены либо непосредственным измерением, либо с использованием экспертов, либо путем вычисления по совокупности описательных характеристик, либо как-то иначе.

   В евклидовом пространстве рассматриваемые n объектов должны быть представлены конфигурацией n точек, причем в качестве меры близости точек-представителей выступает евклидово расстояние d(i,j) между соответствующими точками. Степень соответствия между совокупностью объектов и совокупностью представляющих их точек определяется путем сопоставления матриц сходства ||s(i,j)|| и расстояний ||d(i,j)||. Метрический функционал сходства S - это сумма квадратов модулей элементов матрицы ||s(i,j) - d(i,j)||. Геометрическую конфигурацию надо выбирать так, чтобы функционал S достигал своего наименьшего значения.

   Замечание. В неметрическом шкалировании вместо близости самих мер близости и расстояний рассматривается близость упорядочений на множестве мер близости и множестве соответствующих расстояний. Вместо функционала S используются аналоги ранговых коэффициентов корреляции Спирмена и Кендалла. Другими словами, неметрическое шкалирование исходит из предположения, что меры близости измерены в порядковой шкале.

   Пусть евклидово пространство имеет размерность m. Рассмотрим минимум среднего квадрата ошибки (т.е. минимум функционала S, деленный на число слагаемых в сумме), где минимум берется по всем возможным конфигурациям n точек в m-мерном евклидовом пространстве. Можно показать, что рассматриваемый минимум достигается на некоторой конфигурации. Ясно, что при росте m величина α_m монотонно убывает (точнее, не возрастает). Можно показать, что при m > n - 1 она равна 0 (если s(i,j) - метрика). Для увеличения возможностей содержательной интерпретации желательно действовать в пространстве возможно меньшей размерности. При этом, однако, размерность необходимо выбрать так, чтобы точки представляли объекты без больших искажений. Возникает вопрос: как рационально выбирать размерность пространства, т.е. натуральное число m?

   В рамках детерминированного анализа данных обоснованного ответа на этот вопрос, видимо, нет. Следовательно, необходимо изучить поведение α_m в тех или иных вероятностных моделях. Если меры близости s(i,j) являются случайными величинами, распределение которых зависит от "истинной размерности" m₀ (и, возможно, от каких-либо еще параметров), то можно в классическом математико-статистическом стиле ставить задачу оценки m₀, искать состоятельные оценки и т.д.

   Построим вероятностные модели. Примем, что объекты представляют собой точки в евклидовом пространстве размерности k, где k достаточно велико. То, что "истинная размерность" равна m₀, означает, что все эти точки лежат на гиперплоскости размерности m₀. Примем для определенности, что совокупность рассматриваемых точек представляет собой выборку из кругового нормального распределения с дисперсией σ²(0). Это означает, что объекты О(1), О(2), ..., O(n) являются независимыми в совокупности случайными векторами, каждый из которых строится как ζ(1)e(1) + ζ(2)e(2) + ... + ζ(m₀)e(m₀), где e(1), e(2), ... , e(m₀) - ортонормальный базис в подпространстве размерности m₀, в котором лежат рассматриваемые точки, а ζ(1), ζ(2), ... , ζ(m₀) - независимые в совокупности одномерные нормальные случайные величины с математическим ожиданием 0 и дисперсией σ²(0).

   Рассмотрим две модели получения мер близости s(i,j). В первой из них s(i,j) отличаются от евклидова расстояния между соответствующими точками из-за того, что точки известны с искажениями. Пусть с(1), с(2), ... , с(n) - рассматриваемые точки. Тогда

s(i,j) = d(c(i) + ε(i), c(j) + ε(j)), i,j = 1, 2, ... , n,

   где d - евклидово расстояние между точками в k-мерном пространстве, вектора ε(1), ε(2), ... , ε(n) представляют собой выборку из кругового нормального распределения в k-мерном пространстве с нулевым математическим ожиданием и ковариационной матрицей σ²(1)I, где I - единичная матрица. Другими словами, ε(i) = η(1)e(1) + η(2)e(2) + ... + η(k)e(k), где e(1), e(2), ..., e(k) - ортонормальный базис в k-мерном пространстве, а {η(i,t), i = 1, 2, ... , n, t = 1, 2, ... , k} - совокупность независимых в совокупности одномерных случайных величин с нулевым математическим ожиданием и дисперсией σ²(1).

   Во второй модели искажения наложены непосредственно на сами расстояния:

s(i,j) = d(c(i), c(j)) + ε(i,j), i,j = 1, 2, ... , n, i ≠ j,

   где {ε(i,j), i,j = 1, 2, ... , n} - независимые в совокупности нормальные случайные величины с математическим ожиданием ) и дисперсией σ²(1).

   В нечисловой статистике показано, что для обеих сформулированных моделей минимум среднего квадрата ошибки α_m при n → ∞ сходится по вероятности к

f(m) = f₁(m) + σ²(1)(k - m), m = 1, 2, ..., k,

   где f₁(m) = σ²(0)(m₀ - m) при m < m₀ и f₁(m) = 0 при m > m₀.

   Таким образом, функция f(m) линейна на интервалах [1, m₀] и [m₀, k], причем на первом интервале она убывает быстрее, чем на втором. Отсюда следует, что статистика m* - то значение m, при котором достигает минимума α_m+1 - 2 α_m + α_m-1 как функция от m, является состоятельной оценкой истинной размерности m₀.

   Итак, из вероятностной теории вытекает рекомендация - в качестве оценки размерности факторного пространства использовать m*. Отметим, что подобная рекомендация была сформулировано как эвристическая одним из основателей многомерного шкалирования Дж. Краскалом. Он исходил из опыта практического использования многомерного шкалирования и вычислительных экспериментов. Вероятностная теория позволила обосновать эту эвристическую рекомендацию.

   В области статистических методов, как, впрочем, и в иных областях применения математики, целесообразно выделять тройки:

ЗАДАЧА - МЕТОД - УСЛОВИЯ ПРИМЕНИМОСТИ.

   Обсудим каждую из только что выделенных составляющих.

   Уточнения получаем, добавляя "модель". Варианты:

   теоретический путь -

ЗАДАЧА - МОДЕЛЬ - МЕТОД - УСЛОВИЯ ПРИМЕНИМОСТИ

   эвристический путь -

ЗАДАЧА - МЕТОД - МОДЕЛЬ - УСЛОВИЯ ПРИМЕНИМОСТИ.

   Задача, как правило, порождена потребностями той или иной прикладной области. Вполне понятно, что при этом происходит одна из возможных математических формализаций реальной ситуации. Например, при изучении предпочтений потребителей у экономистов-маркетологов возникает вопрос: различаются ли мнения двух групп потребителей. При математической формализации мнения потребителей в каждой группе обычно рассматриваются как независимые случайные выборки, т.е. как совокупности независимых одинаково распределенных случайных величин, а вопрос маркетологов переформулируется как вопрос о проверке той или иной статистической гипотезы однородности. Речь может идти об однородности характеристик, например, о проверке равенства математических ожиданий, или о полной (абсолютной однородности), т.е. о совпадении функций распределения, соответствующих двух совокупностям.

   Задача может быть порождена также обобщением потребностей ряда прикладных областей. Приведенный выше пример иллюстрирует эту ситуацию: к необходимости проверки гипотезы однородности приходят и медики при сравнении двух групп пациентов, и инженеры при сопоставлении результатов обработки деталей двумя способами, и т.д.

   Важно подчеркнуть, что выделение перечня задач находится вне математики. Выражаясь инженерным языком, этот перечень является сутью технического задания, которое специалисты различных областей деятельности дают статистикам.

   Метод - это уже во многом дело математиков. Речь идет о методе оценивания, о методе проверки гипотезы, о методе доказательства той или иной теоремы, и т.д. В первых двух случаях алгоритмы разрабатываются и исследуются математиками, но используются прикладниками, в то время как метод доказательства касается лишь самих математиков.

   Ясно, что для решения той или иной задачи может быть предложено много методов. Приведем примеры. Для специалистов по теории вероятностей и математической статистике наиболее хорошо известна история Центральной Предельной Теоремы теории вероятностей. Предельный нормальный закон был получен многими разными методами, из которых напомним теорему Муавра-Лапласа, метод моментов Чебышева, метод характеристических функций Ляпунова, завершающие эпопею методы, примененные Линдебергом и Феллером.

   Наконец, рассмотрим последний элемент тройки - условия применимости. Он - полностью внутриматематический. С точки зрения математика замена условия (кусочной) дифференцируемости некоторой функции на условие ее непрерывности может представляться существенным научным достижением, в то время как прикладник оценить это достижение не сможет. Как и внутриматематическое достижение, состоящее в переходе от конечности четвертого момента случайной величины к конечности дисперсии. Поскольку результаты реальных измерений получены с помощью некоторого прибора (средства измерения), шкала которого конечна, то прикладник априори уверен, что все результаты измерений заведомо лежат на некотором отрезке (т.е. финитны).

   Таким образом, в настоящее время наблюдается значительное расхождение интересов "типового" математика и "типового" прикладника. Конечно, мы рассуждаем, строя гипотетические модели восприятия и поведения того и другого. Опишем эти модели более подробно.

   Прикладник заинтересован в научно обоснованном решении стоящих перед ним реальных задач. При этом при формализации задач он готов принять достаточно сильные математические предположения. Например, с точки зрения прикладника случайные величины могут принимать конечное множество значений, или быть финитными, или иметь нужное математику число моментов, и т.д. Переход от дискретности к непрерывности для прикладника оправдан только тогда, когда этот переход облегчает выкладки и расчеты, как в математическом анализе переход от сумм к интегралам облегчает рассуждения и вычисления. Если же при переходе к непрерывности возникают сложности типа необходимости доказательства измеримости тех или иных величин относительно тех или иных сигма-алгебр, то прикладник готов вернуться к постановке задачи с конечным вероятностным пространством. Здесь уместно напомнить, что один из выдающихся вероятностников ХХ в. В. Феллер выпустил свой учебник по теории вероятностей в двух книгах, посвятив первую дискретным вероятностным пространствам, а вторую - непрерывным.

   Другой пример - задачи оптимизации. Если оптимизация проводится по конечному множеству, то оптимум всегда достигается (хотя может быть не единственным). Если же множество параметров бесконечно, то задача оптимизации может и не иметь решения. Поэтому у прикладника есть стимул ограничиться математическими моделями с конечным множеством параметров.

   Модель поведения типового математика совершенно иная. Он, как правило, не обдумывает реальные задачи, поскольку не вникает в конкретные прикладные области. Математик берет те задачи, которые уже ранее рассматривались, и старается получить для них математически интересные результаты. Зачастую это означает борьбу за ослабление математических условий, при которых были получены предыдущие результаты. При этом математика абсолютно не волнует, имеют ли какое-либо реальное содержание доказанные им теоремы, могут ли они принести какую-либо пользу прикладнику. Его интересует реакция математической общественности, а не реакция прикладников.

   Для демонстрации разрыва между математиками и прикладниками обратим внимание на два парадокса.

   Все реальные результаты наблюдений записываются рациональными числами (обычно десятичными числами с небольшим - от 2 до 5 - числом значащих цифр). Как известно, множество рациональных чисел счетно, а потому вероятность попадания значения непрерывной случайной величины в него равно 0. Следовательно, все рассуждения, связанные с моделированием непрерывными случайными величинами реальных результатов наблюдений - это рассуждения о том, что происходит внутри множества меры 0. Первый парадокс состоит в том, что множествами меры 0 в теории вероятностей принято пренебрегать. Другими словами, с точки зрения теории вероятностей всеми реальными данными можно пренебречь, поскольку они входят в одно фиксированное множество меры 0.

   Глубже проанализируем ситуацию. Сколько всего чисел используется для записи реальных результатов наблюдений? Речь идет о типовых результатах наблюдений, измерений, испытаний, опытов, анализов в технических, естественнонаучных, экономических, социологических, медицинских и иных исследованиях.

   Если эти числа имеют вид (a,bcde)10^k, где a принимает значения от 1 до 9, а стоящие после запятой b, c, d, e - от 0 до 9, в то время как показатель степени k меняется от (-100) до +100, то общее количество возможных чисел равно 9х10⁴х201=18090000. Т.е. меньше 20 миллионов. Второй парадокс, усиливающий первый, состоит в том, что для описания реальных результатов наблюдений вполне достаточно 20 миллионов отдельных символов. Бесконечность натурального ряда и континуум числовой прямой - это математические абстракции, надстроенные над дискретной и состоящей из конечного числа элементов реальностью. (При изменении числа значащих цифр принципиальный вывод не меняется.) Таким образом, реальные данные лежат не только во множестве меры 0, но и в конечном множестве, причем число элементов в этом множестве вполне обозримо.

   Из сказанного вытекают некоторые вполне определенные выводы, в том числе касающиеся преподавания и научных исследований.

   Например, преподавание теории вероятностей может быть сосредоточено на случае конечного вероятностного пространства. Бесконечные вероятностные пространства могут при этом рассматриваться как удобные математические схемы, позволяющие более легко и быстро получать полезные утверждения для конечных вероятностных пространств. Из сказанного вытекает, в частности, что различные параметрические семейства распределений (нормальные, логарифмически нормальные, экспоненциальные, Коши, Вейбулла-Гнеденко, гамма-распределений) приобретают статус не более чем удобных приближений для распределений на конечных вероятностных пространствах. При таком подходе теряет свою парадоксальность тот эмпирически не раз проверенный факт, что распределение погрешностей измерений, как правило, не является гауссовым.

   В качестве другого примера рассмотрим методы оценивания параметров. По традиции много внимания в учебных курсах уделяется оценкам максимального правдоподобия (ОМП). Однако столь же хорошие асимптотические свойства имеют т.н. одношаговые оценки, гораздо более простые с вычислительной точки зрения. Целесообразно одношаговые оценки включить в учебные курсы, а ОМП исключить.

   Целесообразно уделять внимание (репрезентативной) теории измерений, в частности, концепции шкал измерения, а именно, шкал наименований, порядковой, интервалов, отношений, разностей, абсолютной. Установлено, какими алгоритмами статистического анализа данных можно пользоваться в той или иной шкале, в частности, для усреднения результатов наблюдений. Так, для данных, измеренных в порядковой шкале, некорректно вычислять среднее арифметическое. В качестве средних для таких данных можно использовать порядковые статистики, в частности, медиану.

   Статистические методы исследования часто опираются на использование современных информационных технологий. В частности, распределение статистики можно находить методами асимптотической математической статистики, а можно и путем статистического моделирования (метод Монте-Карло, он же - метод статистических испытаний).

   Выделено пять актуальных направлений, в которых развивается современная прикладная статистика, т.е. пять "точек роста": непараметрика, робастность, бутстреп, интервальная статистика, статистика объектов нечисловой природы. Кратко обсудим эти актуальные направления (два уже обсуждали).

   Основная идея работ по робастности, или устойчивости, состоит в том, что выводы, полученные на основе математических методов исследования, должны мало меняться при небольших изменениях исходных данных и отклонениях от предпосылок модели. Здесь есть два круга задач. Один - это изучение устойчивости распространенных алгоритмов анализа данных. Второй - поиск робастных алгоритмов для решения тех или иных задач. Отметим, что сам по себе термин "робастность" не имеет точно определенного смысла. Всегда необходимо указывать конкретную вероятностно-статистическую модель. При этом модель "засорения" Тьюки-Хубера-Хампеля обычно не является практически полезной. Дело в том, что она ориентирована на "утяжеление хвостов", а в реальных ситуациях "хвосты" обрезаются априорными ограничениями на результаты наблюдений, связанными, например, с используемыми средствами измерения.

   Бутстреп - направление непараметрической статистики, опирающееся на интенсивное использование информационных технологий. Основная идея состоит в "размножении выборок", т.е. в получении набора из многих выборок, напоминающих выборку, полученную в эксперименте. По такому набору можно оценить свойства различных статистических процедур, не прибегая к излишне обременительным параметрическим вероятностно-статистическим моделям. Простейший способ "размножения выборки" состоит в исключении из нее одного результата наблюдения. Исключаем первое наблюдение, получаем выборку, похожую на исходную выборку, но с объемом, уменьшенным на 1. Затем возвращаем исключенный результат первого наблюдения, но исключаем второе наблюдение. Получаем вторую выборку, похожую на исходную. Затем возвращаем результат второго наблюдения, и т.д. Есть и иные способы "размножения выборок". Например, можно по исходной выборке построить ту или иную оценку функции распределения, а затем методом статистических испытаний смоделировать ряд выборок из элементов, функция распределения которых совпадает с этой оценкой.

   Интервальная статистика - это анализ интервальных статистических данных. Вполне очевидно, что все средства измерения имеют погрешности. Однако до недавнего времени это очевидное обстоятельство никак не учитывалось в статистических процедурах. В результате возникла абсурдная концепция состоятельности как необходимого свойства статистических оценок параметров и характеристик. Только недавно начала развиваться теория интервальной статистики, избавленная от указанной абсурдной концепции. В ней предполагается, что исходные данные - это не числа, а интервалы. Интервальную статистику можно рассматривать как часть интервальной математики. Выводы в ней часто принципиально отличны от классических.

   Интервальные данные можно рассматривать как пример объектов нечисловой природы, а именно, как частный случай нечетких множеств. А именно, если характеристическая функция нечеткого множества равна 1 на некотором интервале и равна 0 вне этого интервала, то задание нечеткого множества эквивалентно заданию интервала. Напомним, что теория нечетких множеств в определенном смысле сводится к теории случайных множеств.

   В чем ее принципиальная новизна? Для классической математической статистики характерна операция сложения. При расчете выборочных характеристик распределения (выборочное среднее арифметическое, выборочная дисперсия и др.), в регрессионном анализе и других областях этой научной дисциплины постоянно используются суммы. Математический аппарат - законы больших чисел, Центральная предельная теорема и другие теоремы - нацелены на изучение сумм. В нечисловой же статистике нельзя использовать операцию сложения, поскольку элементы выборки лежат в пространствах, где нет операции сложения. Методы обработки нечисловых данных основаны на принципиально ином математическом аппарате - на применении различных расстояний в пространствах нечисловых данных.

   Рассмотрим несколько идей, развиваемых в статистике объектов нечисловой природы для данных, лежащих в пространствах произвольного вида. Они нацелены на решение классических задач описания данных, оценивания, проверки гипотез - но для неклассических данных, а потому неклассическими методами.

   Первой обсудим проблему определения средних величин. В рамках теории измерений удается указать вид средних величин, соответствующих тем или иным шкалам измерения. В классической математической статистике средние величины вводят с помощью операций сложения (выборочное среднее арифметическое, математическое ожидание) или упорядочения (выборочная и теоретическая медианы). В пространствах произвольной природы средние значения нельзя определить с помощью операций сложения или упорядочения. Теоретические и эмпирические средние приходится вводить как решения экстремальных задач. Теоретическое среднее определяется как решение задачи минимизации математического ожидания (в классическом смысле) расстояния от случайного элемента со значениями в рассматриваемом пространстве до фиксированной точки этого пространства (минимизируется указанная функция от этой точки). Для эмпирического среднего математическое ожидание берется по эмпирическому распределению, т.е. берется сумма расстояний от некоторой точки до элементов выборки и затем минимизируется по этой точке. При этом как эмпирическое, так и теоретическое средние как решения экстремальных задач могут быть не единственными элементами рассматриваемого пространства, а являться некоторыми множествами таких элементов, которые могут оказаться и пустыми. Тем не менее удалось сформулировать и доказать законы больших чисел для средних величин, определенных указанным образом, т.е. установить сходимость (в специально определенном смысле) эмпирических средних к теоретическим.

   Оказалось, что методы доказательства законов больших чисел допускают существенно более широкую область применения, чем та, для которой они были разработаны. А именно, удалось изучить асимптотику решений экстремальных статистических задач, к которым, как известно, сводится большинство постановок прикладной статистики. В частности, кроме законов больших чисел установлена и состоятельность оценок минимального контраста, в том числе оценок максимального правдоподобия и робастных оценок. К настоящему времени подобные оценки изучены также и в интервальной статистике.

   В статистике в пространствах произвольной природы большую роль играют непараметрические оценки плотности, используемые, в частности, в различных алгоритмах регрессионного, дискриминантного, кластерного анализов. В нечисловой статистике предложен и изучен ряд типов непараметрических оценок плотности в пространствах произвольной природы, в том числе в дискретных пространствах. В частности, доказана их состоятельность, изучена скорость сходимости и установлен примечательный факт совпадения наилучшей скорости сходимости в произвольном пространстве с той, которая имеет быть в классической теории для числовых случайных величин.

   Дискриминантный, кластерный, регрессионный анализы в пространствах произвольной природы основаны либо на параметрической теории - и тогда применяется подход, связанный с асимптотикой решения экстремальных статистических задач - либо на непараметрической теории - и тогда используются алгоритмы на основе непараметрических оценок плотности.

   Для проверки гипотез могут быть использованы статистики интегрального типа, в частности, типа омега-квадрат. Любопытно, что предельная теория таких статистик, построенная первоначально в классической постановке, приобрела естественный (завершенный, изящный) вид именно для пространств произвольного вида, поскольку при этом удалось провести рассуждения, опираясь на базовые математические соотношения, а не на те частные (с общей точки зрения), что были связаны с конечномерным пространством.

   Представляют практический интерес результаты, связанные с конкретными областями статистики объектов нечисловой природы. В частности, со статистикой нечетких множеств и со статистикой случайных множеств, с непараметрической теорией парных сравнений и бернуллиевских векторов (люсианов), с аксиоматическим введением метрик в конкретных пространствах объектов нечисловой природы, и с рядом других конкретных постановок.

   Для анализа нечисловых, в частности, экспертных данных весьма важны методы классификации. С другой стороны, наиболее естественно ставить и решать задачи классификации, основанные на использовании расстояний или показателей различия, в рамках статистики объектов нечисловой природы. Это касается как распознавания образов с учителем (другими словами, дискриминантного анализа), так и распознавания образов без учителя (т.е. кластерного анализа).

   Методологический анализ - первый этап статистического исследования. Он определяет исходные постановки для теоретической проработки, а потому во многом и успех всего исследования. Научное направление "Методология прикладной статистики" надо развивать.