Хорошо известно, что в литературе, связанной со статистическими методами, имеется большое число ошибок. Это относится и к "грифованным" учебникам по "Общей теории статистики", и к ГОСТам по статистическим методам управления качеством. См., например:

Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Журнал "Заводская лаборатория".1985. Т.51. No.1. С.60-62;

Орлов А.И. Сертификация и статистические методы (обобщающая статья). - Журнал "Заводская лаборатория". 1997. Т.63. No.3. С. 55-62.

Данный документ посвящен делу Лемешко Б.Л. Почему мы тратим ресурсы на разбор деяний этого лица? Дело в том, что благодаря именно моей поддержке статьи Лемешко Б.Л. неоднократно публиковались в журнале "Заводская лаборатория". Ошибки в этих статьях нанесли ущерб репутации журнала. Поэтому мне как одному из руководителей журнала (члену редколлегии) следует самокритично проанализировать ситуацию и принять необходимые меры для исправления положения. С этой целью составлено настоящее "предварительное заключение". Оно состоит из трех частей. В части 1 описано развитие ситуации. Часть 2 содержит теоретический анализ типовых ошибок при вхождении в научную область "Прикладная статистика". В часть 3 включены пять рецензий на последние две статьи Б.Л. Лемешко, представленные в журнал "Заводская лаборатория".

Низкая квалификация Лемешко Б.Ю. мне давно и хорошо известно. Надо объяснить, почему я так долго его поддерживал. И защиту диссертации, и публикации в "Заводской лаборатории".

Его сочинения появились в большом количестве в 90-е, когда наука стремительно разваливалась. В журнале постоянно шла речь о нехватке статей. И я сильно обрадовался, что появился новый активный автор. Тем более, что он действовал в духе моих работ по применению статистического моделирования для изучения свойств статистик. См., например:

Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал "Заводская лаборатория". 1986. Т.52. No.12. С.55-57.

Однако в отличие от меня Лемешко Б.Ю. поставил дело на промышленную основу - сделал программный продукт, который позволял изучать одну задачу за другой путем стандартного статистического моделирования.

Результаты моделирования мы печатали. Статьи шли через меня как члена редколлегии. Должен с сожалением признать, что при этом я закрывал глаза на вопиющее невежество Лемешко Б.Ю. в прикладной статистике.

Например, хорошо известна ошибка при применении критериев типа Колмогорова, когда при проверке принадлежности функции распределения выборки параметрическому семейству применяют те же критические значения, что и при проверке совпадения функции распределения выборки с заданной:

Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Журнал "Заводская лаборатория".1985. Т.51. No.1. С.60-62.

Никак не удавалось вдолбить нерадивому Лемешко Б.Ю. суть ошибки, заставить его исправить эту ошибку в своих писаниях. Пришлось пойти на беспрецедентный шаг: вместе с очередной статьей Лемешко Б.Ю. напечатать статью

Орлов А.И. О критериях согласия с параметрическим семейством. - Журнал "Заводская лаборатория". 1997. Т.63. No.5. С. 49-50,

в которой ошибка в очередной раз разъяснялась. И в тексте от редакции пояснить - мы печатаем статью Лемешко Б.Ю., в которой есть принципиальная ошибка, и эта ошибка разбирается рядом.

Только после этого публичного сечения Лемешко Б.Ю. перестал настаивать на указанной ошибке.

Это вселило надежду на то, что Лемешко Б.Ю. может развиваться, повышать свой научный уровень, и со временем из него выработается полезный научный деятель. Увы, надежды не оправдались.

Поток статей не иссякал, в каждой имелись многочисленные "ляпы", Лемешко Б.Ю. яростно отстаивал свои ошибки, и поэтому исправить их все не удавалось, несмотря на огромное время, потраченное на рецензии.

И закономерный финал - на ошибки в статье о критериях хи-квадрат обратил внимание один из профессионалов, проф. В.Г. Воинов:

Воинов В. Г. Об оптимальных свойствах критерия Рао - Робсон - Никулина. - Журнал "Заводская лаборатория". 2006. Т.72. N 3. С.65-70.

Мне стыдно, что сам я эти ошибки просмотрел, поскольку боролся с другими - лежащими на поверхности - ошибками Лемешко Б.Ю. и не заглянул глубже. В результате в нашем журнале появилась статья Б.Ю. Лемешко с ошибками, что нанесло ущерб репутации журнала.

За прошедшие годы Лемешко Б.Ю., опираясь, в частности, на поддержку ведущего центрального журнала "Заводская лаборатория", пролез в доктора наук, профессора, деканы, обнаглел и поверил в то. что он действительно что-то представляет в научном мире. Об этом свидетельствует его возмутительные реплики на форуме http://forum.orlovs.pp.ru/viewtopic.php?t=97 сайта "Высокие статистические технологии". Никакого раскаяния!

Мораль этой истории для меня проста: невежд поддерживать нельзя.

Вряд ли Лемешко Б.Ю. снова посмеет появиться в нашем журнале. Очередной позор нам не нужен.

Но интересно, каков он как декан. Было бы лучше, чтобы он покинул этот пост, или нет? Знакомых с ситуацией просим высказаться.

*   *   *   *   *   *   *

Интересно подискутировать на тему об отношении к шарлатану (в терминах части 2 настоящего заключения) Лемешко Б.Ю.

Только что обсудили отрицательную сторону его деятельности - проталкивание ошибочных результатов, снижение научного уровня в популяции публикаций по прикладной статистике, причем это касается всего клана сотрудников и учеников. Шарлатан порождает новых шарлатанов. Например, в 2004 г. защищалась кандидатская диссертация Помадина С.С., выполненная под руководством Лемешко Б.Ю. Я написал Лемешко Б.Ю.: "По моему мнению, диссертация не соответствует требованиям", в серии писем подробно обосновав свое мнение. Лемешко Б.Ю. проигнорировал критику. К сожалению, я проявил беспринципность, ограничившись перепиской с научным руководителем и не сообщив свое мнение диссертационному совету и ВАК. Пожалел молодого человека - он же не виноват, что у него такой неквалифицированный научный руководитель.

Однако в деятельности Лемешко Б.Ю. есть и положительная сторона. Растет популяция публикаций по прикладной статистике (хотя и содержащих ошибки), в результате обыватели узнают о существовании этой науки. Сотрудники и ученики занимаются квазинаучной деятельностью, а не биржевыми спекуляциями.

Что перевешивает?

В условиях роста советской науки в 60-70-е годы ответ был ясен - шарлатанов надо гнать из науки и преподавания.

А сейчас?

Что лучше - пустота или шарлатаны?

Я все же думаю, что пустота лучше.

Если бы Лемешко Б.Ю. с подельниками был сразу дан достойный отлуп в "Заводской лаборатории", то журнал бы только выиграл. По крайней мере, сроки публикации статей сократились бы.

*   *   *   *   *   *   *

Теперь, знаю глубину невежества и аморальности Лемешко Б.Ю., я думаю - почему же я его поддерживал?

И вот психологический ответ.

В 70-е и 80-е я выполнил несколько работ, в которых автивно использовалось статистическое моделирование (метод Монте-Карло):

Карякин Р.Н., Орлов А.И., Адамов С.Ю. Вероятностная теория высших гармоник помех, создаваемых электровозами. - В сб.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. - М.: Наука, 1978. С.376-380;

Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал "Заводская лаборатория". 1986. Т.52. No.12. С.55-57;

Орлов А.И., Камень Я.Э., Камень Ю.Э., Фомин В.Н. Сравнение критериев однородности двух выборок методом статистических испытаний. - В сб.: Тезисы докладов III Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа". - М.: ЦЭМИ АН СССР, 1987. С. 200-201.

Были еще диссертация моей аспирантки Г.В. Рыдановой и дискуссия по датчикам случайных чисел, в том числе публикации:

Орлов А.И. Комментарий II к статье В.Г. Алексеева "Об одном методе проверки датчика псевдослучайных чисел". - Журнал "Заводская лаборатория". 1990. Т.56. No.3. С.86-87;

Орлов А.И. Комментарий к статье С.М.Ермакова "О датчиках случайных чисел". - Журнал "Заводская лаборатория". 1993. Т.59. No.7. С.51-51.

Для выполнения работ по применению метода Монте-Карло необходимы программные системы, которые делали и эксплуатировали мои соавторы.

Но в 90-е под рукой не было нужной программной системы.

А тут - Лемешко Б.Ю. с программной базой, которая нужна для работ такого типа. Видимо, я обрадовался возможности поддержать перспективное направление отечественных исследований по прикладной статистике, связанное с методом Монте-Карло.

И стал поддерживать Лемешко Б.Ю., стараясь путем подробных рецензий поднять его научный уровень и довести статьи до возможности публикации.

Увы, правильно сказано в Библии:

"Не мечите бисер перед свиньями".

Входящих в научную область для простоты изложения назовем профанами.

1. Профаны часто не подозревают, что прикладная статистика опирается на глубоко развитую научную дисциплину "теория вероятностей и математическая статистика". Они пытаются заниматься прикладной статистикой, не имея соответствующей математической подготовки.

2. В результате не понимают, какие утверждения обоснованы на научном уровне, а какие являются субъективными мнениями отдельных публикаторов. Как следствие, их собственным формулировкам верить нельзя.

3. Рискну заявить, что из публикаций по "теории вероятностей и математической статистике" наиболее важными для прикладной статистики являются "Таблицы математической статистики" член-корр. АН СССР Л.Н. Большева и член-корр. АН СССР Н.В. Смирнова (3-е изд., 1983) и энциклопедия "Вероятность и математическая статистика" (1999, гл. ред. - акад. АН СССР Ю.В. Прохоров). Приходится констатировать, что профаны обычно игнорируют эти публикации. По этому признаку профанов можно диагностировать.

4. Проявляется легкомысленное отношение к накопленным наукой знаниям, в частности, в отсутствии в текстах профанов ссылок на источники тех или иных сведений. А также использование многозначных терминов, например, "робастность", без раскрытия их смысла.

5. Другое проявление легкомысленного отношения к накопленным наукой знаниям - отсутствие достаточных знаний о развитии прикладной статистики и, как отягчающее обстоятельство, отсутствие желания получить эти знания. Следствием являются попытки опубликовать результаты, которые уже были задолго до того получены квалифицированными авторами, причем в гораздо более продвинутом виде.

6. Примерами являются работы Лемешко Б.Ю. (с соавторами), который методом Монте-Карло пытался найти функции распределения статистик типа омега-квадрат. О точности своих алгоритмов Лемешко Б.Ю., несмотря на многолетние требования, так ничего внятного и не сообщил. Судя по тому, что он писал о 2000 испытаниях, точность мала. А между тем еще в 1970-х годах, т.е. на 20 лет раньше, эти распределения были точными методами найдены Г.В. Мартыновым в его известной книге "Критерии омега-квадрат". Ранее понадобилась публикация специальной статьи:

Орлов А.И. О критериях согласия с параметрическим семейством. - Журнал "Заводская лаборатория". 1997. Т.63. No.5. С. 49-50,

чтобы заставить Лемешко Б.Ю. перестать допускать давно известную ошибку, связанную с неправомерным использованием распределений Колмогорова и омега-квадрат при проверке нормальности. Эта ошибка разобрана, например, в статье:

Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Журнал "Заводская лаборатория".1985. Т.51. No.1. С.60-62.

Третья ошибка связана с критерием типа хи-квадрат. Эта ошибка разоблачается в статье В.Г. Воинова, опубликованной в журнале "Заводская лаборатория" в N 3 за 2006 г.

Я сожалею, что поддерживал деятельность Лемешко Б.Ю.. Именно "с моей подачи" в журнале "Заводская лаборатория" опубликован длинный ряд его статей. Я надеялся, что он будет работать над повышением своего профессионального уровня. К сожалению, эти надежды не оправдались.

7. Ошибки профанов не всегда легко продемонстрировать. Приведем один вопиющий случай.

В работах В.П.Л. (фамилию не будем сейчас раскрывать, поскольку подготовка заключения о деятельности этого лица еще не закончена), например:

Применение статистики в статьях и диссертациях по медицине и биологии. Часть I. Описание методов статистического анализа в статьях и диссертациях // Международный журнал медицинской практики. http://www.mediasphera.ru/mjmp/98/4/r4-98con.htm

большое число медиков ошибочно обвинено в ошибках при обработке статистических данных. Однако проблема в том, что авторы процитированной работы сами являются малоквалифицированными в области применения статистики. Например, им неизвестно, что критерий Стьюдента вполне можно использовать, не проверяя условий нормальности и равенства дисперсий, если две сравниваемые выборки имеют одинаковые достаточно большие объемы. Более того, проверять условия применимости критерия Стьюдента гораздо труднее, чем проверять однородность. Речь идет о соображениях, давно опубликованных. Более того, В.П.Л. на своем сайте ссылается на мою статью

Орлов А.И. О применении статистических методов в медико-биологических исследованиях // Вестник Академии медицинских наук СССР. 1987. No. 2. С. 88 - 94.

Если бы он ее еще и прочел, то понял бы, что требовать от медиков проверки условий применимости критерия Стьюдента (нормальность распределения результатов наблюдений и равенство дисперсий) нет необходимости, так что их (медиков) расчеты вполне обоснованы. Приходится констатировать, что деятельность В.П. Л. приводит к дискредитации применения статистических методов в научных медицинских исследованиях и потому вредна.

8. Характерно внимание, уделяемое профанами проверке нормальности. Прежде всего отметим, что профаны, как правило, недостаточно знакомы с классическими результатами, в частности, приведенными в уже упомянутых "Таблицах математической статистики" Л.Н. Большева и Н.В. Смирнова. И уж конечно им неизвестны результаты работы:

Селезнев В.Д., Денисов К.С. Исследование свойств критериев согласия функций распределения данных с гауссовой методом Монте-Карло для малых выборок. - Журнал "Заводская лаборатория". 2005. Т.71. No.1,

в которой показано, что по выборкам объемов 6 - 50, как правило, не удается отличить нормальное распределение от других видов распределений. Таким образом, популярный у профанов раздел программного обеспечения "Проверка нормальности" практического значения, как правило, не имеет.

9. Медленно доходит до создания профанов и тот экспериментальный факт, что распределения реальных данных, как правило, не являются гауссовыми (нормальными) и не могут быть приближены гауссовскими распределениями. Этот факт подробно разбирается в учебниках на нашем сайте http://orlovs.pp.ru. Он делает ненужными работы по проверке нормальности и обосновывает использование непараметрических методов.

10. Удивляет готовность профанов вкладывать большие ресурсы в программистскую работу, в развитие и использование компьютерных систем при нежелании изучать существующую теорию. Возможно, это связано с тем, что профаны используют прикладную статистику для выбивания средств для "достойного существования".

11. Перед каждым профаном, находящимся у входа в научную область "Прикладная статистика", имеется три пути.

Первый - стать специалистом. Первый шаг на этом пути - изучить учебник "Прикладная статистика", помещенный на сайте http://orlovs.pp.ru.

Второй - признать прикладную статистику не своей, но соседней областью, применять ее в своей профессиональной работе, консультируясь с профессионалами.

Третий - стать шарлатаном, эксплуатирующим терминологию статистических методов неадекватно и обычно во вненаучных целях.

Вряд ли надо пояснять, что первые два пути соответствуют нормам человеческого общежития, а третий путь преступен.

Предлагаем познакомиться с рецензиями на сочинения Лемешко Б.Ю., чтобы составить представление о научном уровне этого декана.

С текстами Лемешко Б.Ю. в секции "Математические методы исследования" редколлегии журнала "Заводская лаборатория" шла долгая работа, имевшая целью извлечь жемчужное зерно и представить его читателю.

После четырех переработок в соответствии с четырьмя последовательными рецензиями (приводятся третья и четвертая) статья Б.Ю. Лемешко, Е.В. Чимитовой No. 867 "Оптимальные L-оценки параметров сдвига и масштаба распределений по выборочным квантилям" была опубликована в N 1 за 2004 год.

Статья Б.Ю. Лемешко, С.Б. Лемешко No.1517 "Сравнительный анализ критериев проверки нормальности одномерных величин, включенных в ГОСТ Р ИСО 5479-2002" (новое название: "Сравнительный анализ критериев проверки отклонения распределения от нормального закона") после трех рецензий (прилагаются) была окончательно отвергнута.

Каждый, кто познакомится с рецензиями, сможет убедиться, как настойчиво Б.Л. Лемешко пробивал свои опусы и каков был их научный уровень.

Во второй коллективной рецензии было четыре замечания: 1) о необходимости указать точность численных результатов, полученных с помощью метода статистических испытаний; 2) о числе операций при сортировке; 3) о качестве датчика псевдослучайных чисел; 4) о сравнении с другими методами оценивания. Анализ доработанного текста показывает, что учтены два замечания - второе (изменены неудачные фразы) и третье (добавлен раздел о датчиках и их свойствах). Однако первое и четвертое замечания остаются.

Авторы статьи уже во второй раз уходят от ответа на естественный вопрос о точности численных результатов, полученных с помощью метода статистических испытаний. Так, на рис.1 (стр.6) приведены графики плотностей распределений, построенных по выборкам объема 2000. Очевидно, эмпирическая плотность отличается от теоретической. Насколько? Именно на этот вопрос авторы не желают отвечать. Кроме того, неясно, как оценивается плотность по результатам 2000 статистических испытаний (как сглаживается эмпирическая функция распределения). Неясно, зачем проводится усреднение по 100 экспериментам (с.6). На с.7 сравниваются оценки параметров, а не сами распределения или плотности - это уход от ответа на рассматриваемый вопрос.

Некорректно проводится сравнение с другими методами оценивания.

Так, неоднократно подчеркивается асимптотическая оптимальность рассматриваемых оценок, однако она имеет место лишь при заданном группировании.

Термин "робастность" в статье не имеет точного определения, поэтому неясно, что такое "существенное преимущество в робастности". А если L-оценки сравнить с оценками типа усеченного среднего? Конкретно (к стр.12) - какова плата за группировку, т.е. на сколько процентов увеличивается среднее квадратическое отклонение?

Подчеркивается, что для нахождения L-оценок не нужно применять итерационные процедуры, в отличие от оценок максимального правдоподобия. Хорошо известно, что в практике вместо оценок максимального правдоподобия (ОМП) целесообразно использовать одношаговые оценки (ОШО), для нахождения ОШО также не нужно применять итерационные процедуры. Так что авторы статьи сравнивают L-оценки с заведомо слабым соперником, игнорируя более сильного. Кроме того, для нахождения L-оценок итерационного процесса не надо, но нужны таблицы.

Приходится констатировать, что вопрос о целесообразности использования L-оценок при статистическом анализе результатов измерений остается открытым. Например, десятилетия назад их рекомендовали использовать при экспресс-анализе данных (они относились к т.н. "быстрым методам" статистического анализа). Однако в настоящее время, как отмечают авторы рецензируемой статьи, в связи с широким распространением компьютеров саму необходимость быстрых методов можно поставить под сомнение. Читателям "Заводской лаборатории" нужны рекомендации: когда использовать L-оценки, а когда - другие методы оценивания. Сколько интервалов группирования использовать

Есть отдельные недостатки в изложении материала.

На с.6 без определения используется термин "модель закона распределения".

Непонятна смысловая нагрузка рис.2. Он демонстрирует состоятельность оценок?

Критерий омега-квадрат - это не критерий Мизеса, а критерий Смирнова-Мизеса (с.9).

На с.11 (начало) рассматривается гипотеза, а не строго доказанное утверждение.

Авторам статьи неизвестна классическая книга по L-оценкам:

Благовещенский Ю.Н., Самсонова В.П., Дмитриев Е.А. Непараметрические методы в почвенных исследованиях. - М.: Наука, 1987.

Авторы существенно доработали текст. Однако есть замечания, в том числе по доработанным разделам статьи.

1. В табл. 6 (с.8) все критерии - типа Колмогорова, типа омега-квадрат (при проверке согласия с простой гипотезой его обычно именуют критерием Крамера-Мизеса-Смирнова или Мизеса-Смирнова) и др. На с. 12 критерии именуются уже иначе, чем на с.8 (см. рис.4 и абзац под рис.4). На с.15 - новый вариант.

2. В табл. 9 на с.15 все критерии - это критерии типа Колмогорова, типа омега-квадрат... В нынешнем варианте авторы фактически провоцируют читателей на совершение распространенной ошибки, состоящей в использовании распределений статистик критериев согласия с фиксированным распределением при проверке сложных гипотез. См. об этом:

Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Журнал "Заводская лаборатория".1985. Т.51. No.1. С.60-62;

Орлов А.И. О критериях согласия с параметрическим семейством. - Журнал "Заводская лаборатория". 1997. Т.63. No.5. С. 49-50.

3. На с.16 осталось некорректное сравнение L-оценок с другими видами оценок. Надо отметить, что группировка приводит к потере информации, указать величину потерь. В третьем абзаце сверху надо включить в перечень одношаговые оценки. См. о них, например:

Орлов А.И. О нецелесообразности использования итеративных процедур нахождения оценок максимального правдоподобия. - Журнал "Заводская лаборатория", 1986, т.52, No.5, с.67-69.

В конце третьего абзаца отредактировать: "... выгодно отличаются от перечисленных, кроме одношаговых оценок, тем ...".

В сопроводительном письме к статье есть необоснованные утверждения о сравнении ОМП и ОШО. Частный случай, не вполне корректно рассмотренный, не дает оснований для общих выводов. Странным утверждением кончается первая страница сопроводительного письма - различение сложных гипотез (о принадлежности к тому или иному семейству распределений) никак не может быть более надежным, чем различение простых (два распределения из того и другого семейства). Разбор других утверждений в сопроводительном письме не входит в задачу рецензента.

К сожалению, секция "Математические методы исследования" редколлегии журнала "Заводская лаборатория" по моему предложению рекомендовала статью к печати. Честно говоря, потратив массу времени на четыре рецензии, хотелось завершить эту деятельность публикацией. Психологически трудно самому направить свой долгий труд в архив отклоненных статей.

Название не вполне соответствует содержанию. Рассматриваются не только критерии из указанного стандарта, но и иные. Анализ проводится только методом статистических испытаний.

К статье имеется много конкретных замечаний.

1. Что такое "проверка нормальности", не определено. Обычно (см., например, "Заводская лаборатория", 1985, No.1, с. 60-62) рассматривают три гипотезы: проверка согласия с нормальным семейством распределения вероятностей с неизвестным математическим ожиданием, проверка согласия с нормальным семейством с неизвестной дисперсией, проверка согласия с нормальным семейством с двумя неизвестными параметрами. Какая из них имеется в виду в тех или иных местах рецензируемой статье, не ясно.

2. Вопреки мнению авторов (с.1 статьи), в настоящее время нет необходимости проверять нормальность результатов распределений измерений (наблюдений, испытаний, опытов, анализов), поскольку непараметрические статистические методы, не предполагающие нормальности, позволяют решать все практически важные задачи статистического анализа данных. Большое число статей раздела "Математические методы исследования" ЗЛ посвящено непараметрическим методам.

Однако, к сожалению, существует ГОСТ Р ИСО 5479-2002, имеющий рекомендательный характер и посвященный проверке нормальности. Критический анализ этого текста может представлять интерес для отдельных читателей ЗЛ.

3. Вопреки мнению авторов (с.2 статьи), в отечественной литературе многократно и подробно рассматривались проблемы проверки нормальности (всех трех гипотез, сформулированных в п.1 рецензии). Из статей в ЗЛ достаточно сослаться на работы Л.А. Золотухиной и Е.В. Винник (1985, No.1, с.51-55), А.И.Орлова (1985, No.1 с.60-62; 1997, No.5, с. 49-50) и др. Критериям нормальности уделено большое внимание в "Таблицах математической статистики" Л.Н. Большева и Н.В. Смирнова (1966, 1968, 1983), монографиях Ю.Н. Тюрина, Г.В. Мартынова и др.

Практически в любом учебном издании по статистическим методам рассматриваются вопросы проверки нормальности. Это - один из наиболее популярных сюжетов в статистической литературе.

4. Критерии на основе выборочных коэффициентов асимметрии и эксцесса (с.2-4) являются классическими. См., например, упомянутые "Таблицы..." Л.Н. Большева и Н.В. Смирнова, в которых также описаны результаты исследования скорости сходимости распределений статистик к соответствующим предельным распределениям. В рецензируемой статье не отражены результаты предыдущих исследований и не обоснована необходимость проведения статистического моделирования. Конкретный вид критериев в рецензируемой статье не указан. Можно предположить, что вид рис.1 (с.3 статьи) и рис.4 (с.6 статьи) обусловлен отсутствием нормирования статистик путем деления на стандартное отклонение.

5. Вопреки с.7 статьи, нельзя на основе выборочных коэффициентов асимметрии и эксцесса делать заключение "о принадлежности нормальному закону". Проверяется лишь то, что теоретическая асимметрия и теоретический эксцесс принимают определенные значения, а именно, 0 и 3.

6. Рис.8 (стр.9) вводит читателя в заблуждение, поскольку построен без использования нормировки, обеспечивающей невырожденность предельного распределения критерия Шапиро-Уилка.

7. Мощность критерия Шапиро-Уилка исследовалась неоднократно, в частности, авторами этого критерия, Л.А. Золотухиной и Е.В. Винник (ЗЛ, .1985, No.1, с.51-55). Как полученные в работах предшественников результаты соотносятся с результатами авторов рецензируемой статьи? Ответ на этот вопрос необходим, прежде всего, потому, что предшественники подчеркивают, что наибольшую мощность имеет критерий Шапиро-Уилка, а в аннотации к рецензируемой статье утверждается, что наиболее предпочтительным является критерий D'Agostino.

8. На с.21-22 неверно утверждение о том, что с помощью формулы (7) осуществляется "преобразование коэффициента асимметрии в стандартную нормальную величину". Может идти речь лишь об улучшении приближения.

9. Та же ошибка на с.23. Неверно утверждение о том, что с помощью формулы (8) осуществляется "преобразование коэффициента эксцесса в стандартную нормальную величину". Может идти речь лишь об улучшении приближения.

10. Заявленное в аннотации к рецензируемой статье утверждение, что наиболее предпочтительным критерием при проверке нормальности является критерий, предложенный D'Agostino, не находит подтверждения в тексте статьи. Более того, это утверждение является грубо ошибочным, поскольку указанный критерий - вообще не критерий нормальности. Он является функцией от выборочных коэффициентов асимметрии и эксцесса. На его основе нельзя делать заключение "о принадлежности нормальному закону". Проверяется лишь то, что теоретическая асимметрия и теоретический эксцесс принимают определенные значения, а именно, 0 и 3. Этот вопрос уже обсуждался в ЗЛ (1989, Т.55, No.10, с.90-93).

11. Инструмент исследования - система статистического моделирования - не описана. Неизвестен датчик псевдослучайных чисел, число статистических испытаний, точность оценивания функций распределения.

12. В качестве альтернатив нормальности рассматриваются экспоненциальное семейство распределений, распределение Лапласа и логистическое распределение. Выбор именно этих распределений в качестве альтернатив ничем не обоснован. Не проанализированы альтернативные гипотезы, рассмотренные предшественниками.

Авторами статьи проведены многочисленные расчеты. Однако не все эти расчеты и графики представляют интерес для читателей ЗЛ. Тем более, что не проанализированы классические публикации по рассматриваемой тематике.

Из-за многочисленных неточностей и ошибок, нерациональной подачи материала публикация статьи в настоящем ее виде представляется нецелесообразной.

Можно посоветовать авторам переработать статью на основе приведенных выше замечаний, учесть предшествующие публикации, сжато описать свои результаты и представить работу объемом до 10 стр.

Примечание (для читателей рассылки). В разделе "Математические методы исследования" в N 1 за 2005 г. опубликована статья Селезнева В.Д. и Денисова К.С. "Исследование свойств критериев согласия функции распределения данных с гауссовой методом Монте-Карло для малых выборок", в которой показано, что при объеме выборки n<50 проверять нормальность вообще нецелесообразно.

Новое название: "Сравнительный анализ критериев проверки отклонения распределения от нормального закона"

Новый вариант вдвое сокращен по сравнению с предыдущим. Однако для того, чтобы работа соответствовала требованиям "Заводской лаборатории", ее необходимо сократить еще вдвое.

Из 12 замечаний первой рецензии учтены 2 (NN 8,9) и частично учтены еще 2 ( NN 3,6). С возражениями одного из авторов по поводу замечаний первой рецензии нельзя согласиться.

Статья подписана только одним из авторов.

Из сказанного ясно, что публикация статьи в настоящем ее виде представляется нецелесообразной.

Можно посоветовать авторам переработать статью на основе замечаний первой рецензии и приведенных ниже замечаний, учесть предшествующие публикации, сжато описать свои результаты и представить работу объемом до 10 стр.

Основное требование к авторам - поднять изложение на современный научный уровень.

С целью повышения научного уровня статей в "Заводской лаборатории" была опубликована сводка "Термины и определения в области вероятностно-статистических методов" (1999. Т.65. No.7. С.46-54). К сожалению, рецензируемая статья не соответствует этим общепринятым требованиям.

Например, необходимо различать теоретические и выборочные моменты. Между тем, в рецензируемой статье такое различие зачастую игнорируется (с.2 и др.). Даже в неполной средней школе за запись "квадратный корень из некоторого числа < 0" поставили бы "два". Распределение статистики (1), очевидно, не всегда является симметричным. Процентные точки зависят от распределения. Короче, "критерий проверки на симметричность" не описан. Согласно с.2-3 нулевая и альтернативные гипотезы - простые. И т.д., и т.п. Рис.2, очевидно, может быть построен на основании справочника Большева и Смирнова и более ранних публикаций. Очевидно, авторы рецензируемой статьи поленились их найти. Как только начнешь вчитываться в статью, сразу обнаруживаешь много "ляпов".

В статье речь идет о критериях проверки статистических гипотез. С 30-х годов ХХ в. среди специалистов общепринято описывать проверяемые гипотезы - нулевую и альтернативную. К сожалению, при чтении рецензируемой статьи зачастую приходится только догадываться, о проверке каких гипотез идет речь.

Такая характеристика статистического критерия, как мощность, зависит от конкретной альтернативной гипотезы. Мощность - это не число, а функция. Поэтому не являются научными попытки сравнения по мощности тех или иных критериев без указания конкретных альтернатив (см. стр.7 и др. доработанного варианта статьи). Хорошо известно, что для любого из распространенных непараметрических критериев можно указать такое распределение на множестве альтернатив, что рассматриваемый критерий оказывается наиболее мощным среди всех возможных (Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.).

Речь идет не о терминологических или теоретических проблемах. Авторы рецензируемой статьи приходят к нелепой рекомендации по использованию несостоятельного критерия (8). Очевидно, этот критерий не имеет отношения к проверке нормальности, он позволяет лишь установить, имеют ли асимметрия и эксцесс те же значения, что и для нормального распределения.

Как же авторы пришли к столь нелепому выводу? Путем специально организованного подбора альтернатив (с.3). Никакого научного обоснования этого подбора они не дают. Однако именно подбор альтернатив обеспечивает вывод о преимуществе критерия (8) перед критерием Шапиро-Уилка. Предыдущие авторы с помощью аналогичного подхода (также основанного на методе Монте-Карло, но с другим набором альтернатив) доказали преимущество критерия Шапиро-Уилка. Авторы рецензируемой статьи уходят от естественного (со стороны всех специалистов) вопроса о том, почему их выводы кардинально отличаются от выводов предшественников.

Необходимо описать и систему статистического моделирования. В прежних публикациях говорилось, что каждый эксперимент - это 2000 испытаний. Т.е. согласно теореме Колмогорова любую кривую на рисунках статьи надо заменить полосой полуширины 1,358/(квадратный корень из 2000) = 0,06. Ясно, что при этом целый ряд кривых на рисунках статьи сливается межу собой.

Точность данных в таблицах также следует указывать.

На с.10-11 рассматривается случай нескольких выборок. Ради сокращения объема его можно выделить из рецензируемой статьи.

В предыдущей рецензии (от 23 мая 2004 г.) сказано: "Публикация статьи в настоящем ее виде представляется нецелесообразной". Основания для такого заключения приведены в ранее составленных рецензиях.

Как подчеркнуто в письме в редакцию первого из авторов от 18.08.04, авторы не считают нужным перерабатывать статью. Более того, указанное письмо демонстрирует дополнительные недостатки в понимании авторами существа рассматриваемой проблемы и подходе к устранению пробелов. В частности, авторы статьи не пожелали даже прочитать соответствующие страницы классической монографии Л.Н. Большева и Н.В. Смирнова "Таблицы математической статистики", не понимают смысл критерия Колмогорова. И, более того, даже не прочитали те ими же написанные пассажи в статье, которые были подвергнуты критике в предыдущей рецензии.

Приходится констатировать, что на предыдущие рецензии не дано адекватного ответа, замечания не учтены.

Статья не соответствует научному уровню, принятому в журнале, публикация ее невозможна.

Из приведенных рецензий совершенно очевидно, что научный уровень авторов не соответствует требованиям, общепринятым для возможности осуществления научной и преподавательской деятельности. Особенно впечатляет нежелание учитывать и даже реагировать на замечания рецензентов.

Подведем итоги. Приведенные выше факты свидетельствуют, что Лемешко Б.Л. совершил ряд деяний, несовместимых со статусом научного работника и преподавателя. При этом Лемешко Б.Л. не проявляет никаких признаков раскаяния. Напротив, он написал бездоказательный донос на имя главного редактора журнала "Заводская лаборатория". Его, видите ли, "оскорбляют", рассказывая об описанных выше деяниях.

Полагаю, что лучший способ разобраться в ситуации - гласность.

Для начала настоящее предварительное заключение публикуется в рассылке "Эконометрика". Просим высказаться о его содержании и обоснованности на форуме сайта "Высокие статистические технологии" http://orlovs.pp.ru до 01 октября 2006 г. По итогам обсуждения будут предприняты необходимые дальнейшие действия.