Орлов Александр Иванович, д.э.н., д.т.н., к.ф.-м.н., профессор

РИНЦ SPIN-код: 4342-4994

Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru

Статистические методы опираются на развитую теорию и продемонстрировали свою полезность в отраслях народного хозяйства. Однако анализ положения дел в области применения статистических методов показывает явное неблагополучие, в результате которого накопленный в нашей стране научный потенциал используется далеко не в полной мере. Как показывает практика, мало разработать перспективные современные научно обоснованные эффективные математические и инструментальные методы контроллинга. Чтобы эти методы использовались, необходимо, чтобы они были внедрены. Управление внедрением новшеств, т.е. инновационный менеджмент, вполне обоснованно является в настоящее время одним из наиболее обсуждаемых разделов экономики и организации производства, всей экономической науки в целом. Однако внедрение прикладной статистики и других статистических методов, более широко, математических и инструментальных методов контроллинга, имеет свою специфику. Она рассмотрена в статье. Выделены болезни роста - низкий научный уровень многих лиц, применяющих статистические методы, отсутствие организационной структуры прикладной статистики как области прикладной деятельности и др. С сожалением приходится констатировать, что как сама идея необходимости установления требований к методам анализа данных, так и проект с формулировками таких требований остались вне внимания тех специалистов, которым они необходимы и были адресованы. Отсутствует система методические документы по конкретным статистическим методам, выполненных на современном научном уровне. По мнению автора, желательное будущее прикладной статистики состоит в ее реорганизации по образцу метрологии. Проанализировано применение статистических методов как специальность. Дан анализ системы государственных стандартов по статистическим методов и причин появления в них грубых ошибок. Обсуждается статус документов по статистическим методам стандартизации и управления качеством продукции. Рассмотрена новая система "Шесть сигм" внедрения перспективных математических и инструментальных методов контроллинга.

Ключевые слова: математические методы, инструментальные методы, проблемы внедрения, болезни роста, ошибки в стандартах, система "Шесть сигма", теория вероятностей, математическая статистика, прикладная статистика, статистические методы, экономика, управление, эконометрика, контроллинг, обучение

Как показывает практика, мало разработать перспективные современные научно обоснованные эффективные математические и инструментальные методы контроллинга. Чтобы эти методы использовались, необходимо, чтобы они были внедрены. Управление внедрением новшеств, т.е. инновационный менеджмент, вполне обоснованно является в настоящее время одним из наиболее обсуждаемых разделов экономики и организации производства, всей экономической науки в целом. Однако внедрение прикладной статистики и других статистических методов, более широко, математических и инструментальных методов контроллинга, имеет свою специфику. Мы столкнулись с ней в ходе развертывания деятельности Всесоюзного центра статистических методов и информатики Центрального правления Всесоюзного экономического общества и при создании Всесоюзной организации по статистическим методам (позже ставшей секцией Всесоюзной статистической ассоциации). Сделанные "по следам событий" выводы отражены в [1, 2]. Уже в текущем столетии мы увидели в разработанной первоначально в целях повышения качества продукции системе "Шесть сигм" новую систему внедрения математических методов контроллинга [3, 4]. В современных внешнеэкономических условиях вопросы модернизации систем управления предприятиями и народным хозяйством в целом, реиндустриализации, импортозамещения становятся все более актуальными. Соответственно растет значение проблем адекватного внедрения математических и инструментальных методов.

Бурное развитие прикладной статистики и других математических методов контроллинга породило ряд проблем, которые, видимо, сопутствуют многим быстро развивающимся областям.

1. Низкий научно-технический уровень многих работ (примеры даны например, в [2, 5]) объясняется тем, что статистическими методами занялись лица, не имеющие соответствующей подготовки, а актуальность этой тематики открыла им доступ на страницы научно-технических изданий. На современном этапе более важной задачей, чем дальнейший количественный рост числа лиц, занимающихся статистическими методами, является повышение качества работ в этой области, обеспечение их соответствия современному научно-техническому уровню. Уже на Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике (1985 г.) было 515 советских докладов, относящихся к этой специальности [6], поэтому дело не в том, что в нашей стране мало высококвалифицированных специалистов, а в том, что отсутствует система внедрения современных методов и вытеснения устаревших и неверных процедур анализа данных, а также система контроля за качеством работ в области статистических методов.

Ошибки при применении статистических методов встречаются в работах по различной тематике. Например, в учебниках по учебной дисциплине "общая теория статистики" [7, 8 и др.] постоянно повторяется одна и та же ошибка, разобранная в [5]: для проверки гипотезы о принадлежности функции распределения выборки параметрическому семейству предлагается использовать критерий акад. А.Н. Колмогорова, при этом параметры теоретического распределения оцениваются по выборке, а процентные точки берутся для классического распределения критерия, полученного в предположении, что параметры точно известны. В одной из лучших книг по применению статистических методов в медицине [9] допущена та же ошибка.

Как неоднократно отмечалось (см., например, [10 - 12]), в большинстве медико-биологических исследований используются лишь самые элементарные статистические приемы: вычисление среднего арифметического и ошибки среднего, доли и ее ошибки, проверка однородности двух выборок с помощью критерия Стьюдента, вычисление коэффициента корреляции и проверка его значимости, к тому же иногда с ошибками (см. тщательный разбор причин ошибок в [13, 14]).

Ситуация практически во всех прикладных областях аналогична.

Применение статистических методов весьма широко. Практически во всех вузах и НИИ, на многих заводах имеются вычислительные центры, среди программных продуктов обычно имеются статистические. Большинство статей в технических, медицинских, социологических изданиях содержат упоминания о применении статистических методов. Конечно, эти методы обычно просты - расчет среднего, выборочной дисперсии, критерия Стьюдента, и часто применяются неквалифицированно - например, критерий Стьюдента используется для наблюдений, распределение которых явно отличается от нормального.

Обычно применяется одномерная статистика. Именно поэтому все 11 государственных стандартов по прикладной статистике относились к ней [15]. Многомерный статистический анализ, требующий компьютерных расчетов, применяется гораздо реже. Новые направления, такие, как статистика нечисловых данных, используются пока в единичных случаях.

По нашей оценке, в России работают не менее 50 тыс. специалистов прикладных областей, постоянно использующих статистические методы в своей работе (в СССР к концу 1980-х годов имелось около 100 тыс. таких специалистов). Из-за отсутствия контрольной системы и низкой квалификации их деятельность часто нельзя считать научно обоснованной.

2. Отсутствие организационной структуры прикладной статистики как области прикладной деятельности связано с тем, что работы в этой области от пионерских попыток давно уже перешли к "массовому производству", однако факт указанного перехода недостаточно осознан как самими специалистами, так и организаторами науки и производства. В результате работы ведутся отдельными не связанными между собой подразделениями и специалистами, как следствие - дублирование и низкий научно-технический уровень разработок. Так, по данным, приведенным в [16], в 80-х гг. в СССР эксплуатировалось более чем 400 компьютерных программ по регрессионному анализу, что, по крайней мере, на порядок превышает необходимое их количество. Весьма важно, что большая часть программ имела серьезные недостатки с точки зрения теории прикладной статистики. К настоящему времени ситуация не улучшилась [17].

3. Для обеспечения широкого внедрения современных методов статистической обработки данных необходимо прежде всего установить основные требования к ним и те характеристики, которые необходимо учитывать при выборе метода для обработки конкретных данных и при описании метода в нормативно-технической и методической документации, а также в справочной, учебной, научной и технической литературе. Под нашим руководством был разработан соответствующий методический документ [18]. Однако широкое его обсуждение не было проведено. С сожалением приходится констатировать, что как сама идея необходимости установления требований к методам анализа данных, так и проект с формулировками таких требований остались вне внимания тех специалистов, которым они необходимы и были адресованы. В частном случае подобные требования приведены в "Методике сравнительного анализа родственных эконометрических моделей" (Приложение 3 в учебнике "Эконометрика" [19]). Однако и эта методика не дошла до адресата, поскольку учебники читают студенты и преподаватели, а не разработчики-исследователи.

Для обеспечения широкого внедрения статистических методов в практику работы инженеров, медиков, экономистов, биологов, социологов, геологов, химиков, представителей других специальностей необходима классификация этих методов, позволяющая прикладнику ориентироваться в море имеющихся методов. Удовлетворительной классификации подобного типа в настоящее время нет. Имеющиеся учебники, в том числе наши, можно рассматривать лишь как введение в предмет, специальные монографии посвящены отдельным направлениям, что связано обычно с субъективной оценкой значимости тех или иных направлений.

Очевидно, основная причина отсутствия приемлемой классификации статистических методов состоит в том, что объем знаний по прикладной статистике давно превысил индивидуальные возможности восприятия. Так, в наиболее полном издании по прикладной статистике на русском языке - трехтомнике Кендалла и Стьюарта [20 - 22] - приведено около 2000 ссылок, т.е. процитировано около 2% от имеющихся к настоящему времени актуальных работ (по нашей экспертной оценке). Итак, любой отдельный специалист знаком лишь с весьма малой частью (в лучшем случае единицы процентов) актуальных публикаций, относящихся к его специальности. Эту печальную ситуацию смягчает то, что одни и те же идеи обсуждаются во многих публикациях. Однако практика показывает, что знания о вновь полученных научных результатах, как правило, распространяются недостаточно. Из сказанного вытекает, что необходим специальный методологический и гносеологический анализ имеющегося массива публикаций по прикладной статистике, подобный проведенному в [23] для некоторых проблем классификации.

4. Общие схемы статистики нечисловых данных позволяет единообразным образом получать результаты для наблюдений различной природы и тем самым способствуют превращению прикладной статистики из хаотического набора методов в науку с выраженной внутренней структурой. При этом происходит разрушение ряда устарелых догм [24].

5. Кроме перечня общих требований и характеристик, необходимы предназначенные для непосредственного применения методические документы по конкретным статистическим методам, выполненные на современном научном уровне. Чтобы вытеснить устаревшие и неверные методы, такие документы должны иметь ту или иную правовую основу.

Какие методы обработки данных целесообразно включать в нормативно-техническую документацию (НТД)?

Очевидно, те, которые применяются массово (иначе затраты на разработку НТД не окупятся), и те, что применяются в конфликтных ситуациях, возникающих, например, между поставщиками и потребителями промышленной продукции, в судебной медицине, при оценке ущерба от вредителей сельскохозяйственных культур и т.д. Большинство отечественных стандартов по прикладной статистике, статистическому контролю и статистическому регулированию технологических процессов отменено из-за наличия грубых ошибок [2], однако корректного набора стандартов нет до сих пор.

Чтобы поставить цель, представить себе желательное будущее прикладной статистики, сравним ее с метрологией Это сравнение правомерно, поскольку с точки зрения современной теории измерений [19] результаты статистической обработки данных - это косвенные измерения, полученные расчетом на основе прямых измерений - исходных данных.

Вопросами метрологии занимаются в нашей стране целый ряд НИИ - ВНИИМС, ВНИИМ, ВНИИФТРИ, ВНИИОФИ и др. Промышленные предприятия выпускают соответствующие средства измерения. Методики выполнения измерений стандартизованы, за состоянием средств измерения и правильностью их применения на предприятиях и в организациях всех отраслей народного хозяйства метрологический надзор ведут лаборатории государственного надзора территориальных органов Росстандарта.

А что в прикладной статистике? В метрологии три составляющие: наука об измерении, производство средств измерения, контроль за правильностью их использования - образуют стройную систему. В прикладной статистике подобной системы пока нет. Наилучшее положение в области науки - хотя в нашей стране нет ни одного НИИ в этой области, данные о Вильнюсской конференции [6] свидетельствуют о наличии большого числа специалистов (порядка 1000), активно ведущих теоретические исследования. Аналогом средств измерения является нормативно-техническая, методическая и программная документация, а также сами программные продукты и компьютеры. В настоящее время разработку ведут многие группы, малые по численности, в основном для нужд собственной организации (предприятия), без должной координации и обеспечения внедрения программных разработок, в результате чего наблюдается сочетание дублирования и низкого качества разработок. Что же касается контрольной системы, то она полностью отсутствует. Отдельные критические разборы типа [5] не имеют правовой силы.

Представляется своевременным рассмотреть вопрос о целесообразности реорганизации прикладной статистики, например, по образцу метрологии. С чего начать реорганизацию?

Обсудим положение специалиста прикладной области, желающего применить статистические методы в своей работе. Казалось бы, можно непосредственно воспользоваться научными или учебными изданиями, программными продуктами. Однако, на этом пути встают два основных препятствия. Во-первых, научная литература имеет целью изложение новых научных результатов, а поэтому в подобной литературе (и в документации программных продуктов) обычно нельзя найти подробной и законченной методики анализа статистических данных в определенной ситуации. Например, гамма-распределение широко обсуждается в научной литературе по крайней мере с 1921 г., когда Р. Фишер на его примере сравнивал эффективность различных методов оценивания параметров [21, с. 99], однако при разработке ГОСТ 11.011-83 [25] лишь примерно 50% его содержания нам удалось составить с помощью литературных источников, остальные 50% основаны на результатах исследований, проведенных при подготовке стандарта. Во-вторых, как уже отмечалось, в литературе по статистическим методам встречается довольно большое число устаревших или попросту неверных утверждений [2, 5].

Из сказанного вытекает, что специалисту прикладной области необходимы методические материалы и хорошо документированные программные продукты, содержащие полностью описанные алгоритмы обработки и интерпретации статистических данных и выполненные на современном научно-техническом уровне. Кроме того, для исключения из пользования ошибочных рекомендаций необходимы правовые меры. Только научно-обоснованные нормативно-технические и методические документы позволят обеспечить современный научный уровень статистических методов, предназначенных для использования в производственных условиях, в прикладных НИИ и КБ.

Не менее важно использование современной добротной научно-технической документации при обработке данных, полученных в ходе научных исследований. Практика выработала определенное представление о способах обработки, признанных "стандартными" в соответствующих областях. Так, судя по медицинским журналам, в настоящее время в медицинских научных исследованиях "стандартной" является проверка однородности двух выборок (с целью обнаружения различия двух совокупностей) с помощью критерия Стьюдента. Этот стихийно выработавшийся в середине ХХ в. "стандарт" не соответствует современным научным представлениям, согласно которым однородность следует проверять с помощью непараметрических критериев [26]. Регрессионный анализ прочно ассоциируется с "методом наименьших квадратов", хотя по современным воззрениям "метод наименьших модулей" представляется более предпочтительным. Поразительно живучим является представление о широкой применимости нормального закона распределения, несмотря на отсутствие в большинстве прикладных областей подтверждений его применимости.

Как уменьшить область влияния этих и других устаревших догм, ставших стандартами мышления? Один из создателей современной физики Макс Планк говорил: "Новая научная истина побеждает не потому, что ее противники убеждаются в ее правильности и прозревают, а лишь по той причине, что противники постепенно вымирают, а новое поколение усваивает эту истину буквально с молоком матери" (цитируем по [27]). Но у нас нет возможности ждать "постепенного вымирания" сторонников устаревших догм по естественным причинам. Как убыстрить процесс?

Идея стандартизации математических методов имеет давнюю историю. Возможно, наиболее известной попыткой является многотомный трактат Н. Бурбаки "Элементы математики". Недаром один из разделов программной статьи Н. Бурбаки "Элементы математики" называется: "Стандартизация математических орудий" [28]. Изданные в нашей стране "Математическая энциклопедия" и энциклопедия "Вероятность и математическая статистика" - отражение той же тенденции. По сравнению с трактатом Н. Бурбаки НТД по прикладной статистике и другим статистическим методам должны обладать важным преимуществом - содержать все необходимое для обработки конкретных реальных данных, в то время, как "Трактат" Н. Бурбаки посвящен абстрактным разделам чистой математики, не имеющим отношения к проблемам реального мира. Фактически в качестве "стандарта" иногда выступает многократно используемая программа расчетов на ЭВМ. Из-за лавинообразного роста числа компьютеров, особенно персональных, весьма актуальна задача обеспечения высокого качества статистических программных продуктов.

Итак, статистические методы опираются на развитую теорию и продемонстрировали свою полезность в отраслях народного хозяйства. Однако анализ положения дел в области применения статистических методов показывает явное неблагополучие, в результате которого накопленный в нашей стране научный потенциал используется далеко не в полной мере.

Симптомом неблагополучия является анализ состава участников Вильнюсской конференции [6]. Из 515 докладов отечественных участников 201 приходится на 30 университетов, в том числе на МГУ - 50 и на Киевский университет - 42, и 57 - на 36 вузов, т.е. всего на учебные институты приходится 50% докладов. Из оставшейся половины 123, т.е. около 25%, представлено сотрудниками 10 институтов математики и 75 - представителями 28 академических организаций. И только 59 докладов, т.е. 11%, приходится на сотрудников 54 организаций отраслей народного хозяйства. Эти данные показывают организационную разобщенность теоретической науки и ее применений - в области статистических методов.

Следовательно, необходимы специальные меры для усиления взаимосвязи между двумя типами специалистов в области статистических методов. Один тип - это математики, разрабатывающие, изучающие и преподающие статистические методы; в настоящее время они сосредоточены в основном в вузах и академических институтах. Другой тип - это специалисты отраслей народного хозяйства, которые применяют статистические методы для решения задач своих отраслей. Грубо говоря, математики изготавливают инструмент, прикладники его применяют. Во втором случае применение статистических методов выступает как вид инженерной (управленческой, экономической, социологической, медицинской, исторической и т.п.) деятельности.

Статистические методы являются весьма эффективными как при управлении качеством продукции, так и при решении других производственных и научных задач во всех отраслях народного хозяйства. Они позволяют получать значительный экономический эффект, принимать научно-обоснованные решения. Эффективность применения этих методов в значительной степени повышается благодаря их унификации и стандартизации. При этом, с одной стороны, достигается упорядочение методов в зависимости от задач и условий применения, с другой - для широкого использования рекомендуются путем стандартизации хорошо обоснованные наукой и апробированные на практике методы. НТД на статистические методы должны излагаться и оформляться в доступной инженерам форме с удобными для пользования таблицами, программным обеспечением.

Наиболее эффективными формами внедрения в организациях и предприятиях народного хозяйства статистических методов является введение их в НТД (технические регламенты, национальные стандарты, технические условия и т.п.) на конкретные виды продукции в разделы "Приемка", "Методы контроля (испытаний, анализа, измерений)" или прямое их использование при разработке технологий контрольных операций, средств управления технологическими процессами и т.д.

В настоящее время статистические методы, особенно их современные модификации, активно применяются лишь на отдельных промышленных предприятиях и НИИ, хотя имеющиеся нормативно-техническая и методическая документация и программные продукты позволяют использовать их гораздо более широко. Причинами тому:

а) нередкое отсутствие в действующей нормативно-технической документации (и договорах на поставку) на конкретные виды продукции в разделах "Приемка" и "Методы контроля (испытаний, анализа, измерений)" для изготовителей и потребителей четких указаний о порядке обработки данных, вследствие чего в НТД допускаются противоречия, а иногда и неправильные толкования;

б) слабое обоснование с правовой точки зрения разделов "Приемка" и "Методы контроля" многих действующих НТД на конкретные виды продукции, в которых применяются выборочные методы прикладной статистики, отсутствие в них четких указаний о взаимоотношениях поставщика и потребителя при оценке результатов обработки данных, при решении вопроса об экономической целесообразности тех или иных методов, гарантиях и т.д.;

в) отсутствие специальной подготовки инженерно-технических работников непосредственно на предприятиях и в НИИ, в т.ч. и знания программных продуктов и НТД по прикладной статистике и другим статистическим методам;

г) отсутствие на предприятиях понимания потенциальной пользы от применения статистических методов, как следствие, заинтересованности в их внедрении.

Полезно проанализировать попытки стандартизации статистических методов в нашей стране. На 01.01.86 в СССР действовали 11 государственных стандартов системы "Прикладная статистика" (ГОСТ 11.001-73 - ГОСТ 11.011-83), 6 стандартов по статистическому регулированию технологических процессов (контрольным картам), 8 стандартов по статистическому приемочному контролю, ряд методик и рекомендаций, 1 терминологический стандарт, 1 стандарт по организации внедрения статистических методов. Такие методы использовались в ряде стандартов по вопросам надежности в технике, измерений, испытаний продукции, управления технологическими процессами, качеству продукции. Сопоставление включенных в стандарты статистических методов с современными научными результатами, представленными, в частности, в [6], приводит к неутешительным выводам.

Стандарты по прикладной статистике охватывали лишь небольшую часть методов прикладной статистики, доказавших свою полезность при решении прикладных задач в отраслях промышленности. Все они относились к одномерной статистике, не было ни одного стандарта по многомерному статистическому анализу, статистике случайных процессов и временных рядов, по большинству разделов статистики объектов нечисловой природы. Если возможны дискуссии о целесообразности разработки стандартов по таким бурно развивающимся областям статистики, как устойчивые статистические методы, математические методы классификации, ряд разделов статистики объектов нечисловой природы, то на 01.01.86 была несомненна целесообразность стандартизации устоявшихся и широко используемых методов непараметрической статистики, регрессионного анализа, дисперсионного анализа, планирования эксперимента и т.д. В частности, в одномерной статистике следовало стандартизировать непараметрические методы проверки статистической гипотезы однородности двух выборок.

Стандарты по статистическому регулированию технологических процессов основывались на научных результатах пятидесятых-шестидесятых годов. В них при регулировании по количественному признаку принято предположение нормальности контролируемого параметра, которое во многих реальных ситуациях является необоснованным. К рассматриваемому времени (к середине 1980-х годов) в нашей стране существенное развитие получили методы обнаружения разладки, получившие отражение, в частности, в работах А.Н. Ширяева (ныне академик РАН), Г.Ф. Филаретова, И.В. Никифорова, А.А. Новикова, Н. Клигенс и многих других. В свете этих работ рассматриваемые стандарты являются устаревшими. Кроме того, в стандартах по статистическому регулированию технологических процессов (по контрольным картам Шухарта и кумулятивных сумм) были обнаружены принципиальные ошибки, делающие невозможным их применение.

Сказанное во многом справедливо и для стандартов по статистическому приемочному контролю. Наиболее известный из них - ГОСТ 18242-72 - разработан по аналогии с американским военным стандартом MIL STD 105 D, подготовленного в годы второй мировой войны. При контроле по количественному признаку принято нереалистическое предположение нормальности. Современному научному уровню соответствует ГОСТ 24660-81, подготовленный под руководством проф. Ю.К. Беляева (МГУ) и проф. Я.П. Лумельского (Пермский государственный университет). Важные результаты в области статистического приемочного контроля получены в работах И.Н. Володина, В.Ю. Королева, С.Х. Сираждинова и многих других.

Оценивая ситуацию в целом, необходимо констатировать, что комплекс государственных стандартов по статистическим методам во многом отставал от развития теоретических и прикладных работ по рассматриваемой тематике.

Более существенным недостатком обсуждаемого комплекса стандартов являлось наличие существенных ошибок в ряде документов. Так, в ГОСТ 11.006-74 имеются математические ошибки, частично разобранные в [5]. Многочисленными ошибками выделяется терминологический стандарт (ГОСТ 15895-77 (СТ СЭВ 547-77, СТ СЭВ 3404-81). Статистические методы управления качеством продукции. Термины и определения), в котором даже определение такого основного понятия, как "случайная выборка", дано неверно. Имеется даже термин "выборочное среднее арифметическое в выборке". Резкая критика этого стандарта дана в [29]. Взамен безграмотного документа был подготовлен проект терминологического стандарта по теории вероятностей и математической статистике, но из-за противодействия виновников ошибок он не был утвержден. Позже на основе этого проекта была опубликована статья [30], терминологическое приложение в учебнике [19] и справочник "Вероятность и прикладная статистика: основные факты" [31]. При подготовке стандарта СЭВ и его введении в ГОСТ 18242-72 из текста документа "выпало" упоминание о возможности применения усеченных планов статистического приемочного контроля, т.е. планов, в которых разрешается прекратить контрольные операции, если ясен результат контроля (приемка или забракование партии продукции). Эта "забывчивость" приводит к тому, что международный стандарт требует осуществления бессмысленных действий, влекущих ничем не оправданные затраты, на что справедливо указывают авторы статьи [32]. У этого стандарта есть и другие недостатки. Крайне низким научно-техническим уровнем выделялся ГОСТ 23853-79 (СТ СЭВ 3946-82) по организации внедрения статистических методов. Он требовал использования устаревших методов, причем и это делалось с многочисленными ошибками. Более подробный анализ ошибок в стандартах дан в [2].

Каковы причины появления ошибок в государственных стандартах по статистическим методам ? Основной причиной, как установила Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам, созданная в 1985 г., является низкая квалификация в области теории вероятностей и математической статистики специалистов, отвечающих за стандартизацию статистических методов в СССР, а также в советских частях Постоянной комиссии СЭВ по стандартизации и ИСО (Международной организации по стандартизации). Другой причиной являлось то, что разработка рассматриваемых стандартов велась в обход ведущих специалистов по теории вероятностей и математической статистике, стандарты не согласовывались с основными научными центрами по этой тематике.

Открывая Всесоюзную конференцию "Применение статистических методов в производстве и управлении" (Пермь, 1984), академик АН УССР Б.В. Гнеденко констатировал: "Большинство участников конференции даже не знают о существовании государственных стандартов по статистическим методам" [33]. Отрыв от масс специалистов промышленности имел место, несмотря на многотысячные тиражи указанных стандартов (6 - 20 тыс.экз.). За 15 лет развития комплекса стандартов по статистическим методам не были налажены регулярные контакты с отраслями, головным и базовым организациям не было вменено в обязанность руководство внедрением и использованием этих документов, не были установлены организации, ответственные за указанную работу в отраслях. Нельзя не согласиться со словами Б. В. Гнеденко при закрытии той же конференции: "Специалисты по статистике должны знать действующие государственные стандарты по статистическим методам и использовать их в своей работе" [33]. Этого не было, что снизило ущерб от низкого качества стандартов.

Согласно технической политике органов стандартизации нашей страны (в настоящее время это Росстандарт, т.е. Федеральное агентство по техническому регулированию и метрологии) методические положения должны быть исключены из государственных стандартов. Стандарты не должны излишне регламентировать творческий труд работников предприятий и организаций. Недопустимо, чтобы стандарты становились тормозом на пути научно-технического прогресса.

Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам действовала согласно указанной технической политике. Итоги подведены решениями Госстандарта СССР по отдельным документам и в решении НТС Госстандарта СССР "О стандартизации и применении статистических методов", утвержденном председателем Госстандарта СССР 27.07.87 г. Изложение этого решения опубликовано в [34].

Таким образом, дело не только в отдельных стандартах. Даже безупречные стандарты могут не учитывать конкретных ситуаций. Так, ГОСТ 11.002-73, содержащий правила оценки анормальности результатов наблюдений, безупречен (в основном) с точки зрения математики, но его широкое использование может привести к грубым ошибкам, поскольку указанный стандарт опирается на предположение нормальности. Как правило, для реальных ситуаций характерно отсутствие нормальности, но практические работники об этом не задумываются. Бездумно применяя ГОСТ 11.002-73, они совершают действия, не имеющие научного обоснования. Стандарты могут стать тормозом на пути внедрения новых методов. В [35] отмечается, что прежние методы сами по себе являются заслоном на пути новых, если же старые методы еще и стандартами объявлены, то для их преодоления требуются огромные усилия. Так, ГОСТ 11.004-74 по оценке параметров нормального распределения служит барьером на пути внедрения робастных методов оценивания математического ожидания и других параметров. Набор действующих государственных стандартов по статистическому контролю является тормозом на пути внедрения современных методов статистического контроля, например, принципа распределения приоритетов [19]. Характерный пример: в [36] продемонстрирована высокая экономическая эффективность применения на предприятиях металлургической промышленности отраслевого стандарта ОСТ 14-34-78 "Статистический контроль качества металлопродукции по корреляционной связи между параметрами", хотя методические указания Госстандарта СССР РД 50-605-86 запрещают применение подобного метода, поскольку он не включен в действующие стандарты по статистическом контролю.

Поэтому документы по статистическим методам должны иметь, как правило, рекомендательный, необязательный характер, являться методическими документами, а не нормативными. Лишь по отдельным вопросам, в частности, по организации статистического контроля, должны быть нормативные документы. На основе государственных стандартов по статистическому контролю могут быть разработаны каталоги планов статистического контроля, носящие рекомендательный характер. Перспективная форма документа - "методики измерений", разрабатываемые институтами Госстандарта СССР метрологического профиля. "Методика измерений" - это продукция соответствующего метрологического НИИ. Для конкретного предприятия или организации в отраслях народного хозяйства она становится обязательной после утверждения руководителем этого предприятия (организации). Это обеспечивает учет специфики предприятий и оперативное отслеживание научно-технического прогресса.

На обозримое будущее можно предсказать симбиоз документов на традиционной бумажной основе и соответствующих им программных продуктов. При этом методические документы могут иметь более широкую сферу применения, не связанную с типом ЭВМ, имеющейся у пользователя, а пакеты программ могут различаться по используемым архитектуре, алгоритмическим языкам, системному обеспечению (от библиотек модулей до экспертных систем) и т.д.

Подведем итоги и обсудим направления дальнейшей деятельности в рассматриваемой области.

Научная и производственная работа на современном уровне невозможна без широкого и квалифицированного использования прикладной статистики и других статистических методов. В целях коренного улучшения использования накопленного научного потенциала в области теории вероятностей и математической статистики для повышения экономической мощи нашей страны необходим ряд организационных мер по развитию, внедрению и применению комплекса нормативно-технических и методических документов и программных продуктов по статистическим методам.

Для преодоления отрыва от науки и исключения возможности появления ошибок в НТД необходимо, чтобы разработкой стандартов рассматриваемого комплекса занимались специалисты в области теории вероятностей и математической статистики, а сами стандарты согласовывались с ведущими научными центрами по этой тематике.

Для преодоления отрыва от промышленности необходимо выделение системы головных и базовых организаций, ответственных за внедрение и использование статистических методов в отраслях (министерствах и ведомствах, корпорациях, холдингам), развертывание работ по ознакомлению специалистов с программными продуктами по современным статистическим методам, введение информации по этой тематике в учебные курсы в вузах и т.д.

Стихийность развития науки приводит к тому, что популярность того или иного научного результата, подхода или направления зачастую определяется вненаучными причинами. Коллективными усилиями надо разобраться в накопленном, рекомендовать лучшее для широкого внедрения, сформулировать нерешенные задачи, актуальные для приложений, скоординировать работу по переходу от теоретических результатов к НТД и программным продуктам, по проведению новых исследований. Квалифицированных специалистов по разработке методов прикладной статистики в нашей стране достаточно. Необходимо организовать их работу.

Итак, в настоящее время наблюдается большой разрыв между наукой о методах обработки данных (т.е. прикладной статистикой) и практикой их использования. Из всего сказанного выше вытекает необходимость развертывания работ в следующих направлениях:

- адаптация накопленных в прикладной математической статистике результатов для нужд прикладных исследований, включая проведение чисто математического изучения тех или иных статистических процедур;

- разработка, унификация и стандартизация, распространение и внедрение методического и программного обеспечения статистических методов, используемых в прикладных исследованиях;

- помощь специалистам прикладных областей в организации и проведении исследований с использованием статистических методов, а также в обработке данных;

- контроль за правильностью применения статистических методов, а также качеством методического и программного обеспечения.

Очевидно, эта работа должна быть плановой, организационно оформленной, ее должны проводить мощные самостоятельные подразделения. В частности, необходимо создать службу статистических консультаций (необходимость создания системы статистических консультаций обоснована проф. В.В. Налимовым в [37, с. 200]).

В XXI веке основное внимание исследователей и управленцев переносится с разработки отдельных математических и экономико-математических методов исследования на системы внедрения таких методов в практическую деятельность предприятий и организаций. Обсудим новую систему организации управления "Шесть сигм", основанную на интенсивном использовании современной компьютерной техники и информационных технологий [3, 4]. По нашему мнению, она является не только новой технологией управления (менеджмента), но и системой внедрения математических и инструментальных методов в практику работы организации, предприятия, корпорации, региона. Мы рассматриваем ее как подход к совершенствованию бизнеса, как эффективный инструмент внедрения перспективных математических и инструментальных методов контроллинга.

Как улучшить качество продукции и организацию производства? Как увеличить эффективность управления предприятием? Как повысить качество научных исследований? Как оптимизировать деятельность центральной заводской лаборатории? Все эти проблемы - вечные. Их решали и сто лет назад, и пятьдесят, решают и сейчас. Но по-разному.

Последние десятилетия волна за волной накатывают на руководителей и специалистов все новые сочетания слов и стоящие за ними концепции: комплексные системы управления качеством продукции, АСУ, стандарты ИСО серии 9000, ИСУП, контроллинг... И в каждой волне есть что-то новое и что-то давно известное. Основное в очередной новации - иное направление взгляда на старые проблемы и методы.

И вот появилась система "Шесть сигм". Что стоит за этими словами, связанными со статистическими методами (греческой буквой "сигма" традиционно обозначают показатель разброса статистических данных)?

Основные идеи системы "Шесть сигм". Согласно [38], "Шесть сигм" - это более разумный способ управлять всей компанией или отдельным ее подразделением (например, литейным цехом или центральной заводской лабораторией). Фактически речь идет о развитии системы управления качеством и контроллинга на предприятии, в организации, фирме, компании. Концепция "Шесть сигм" ставит на первое место потребителя товаров и услуг и помогает, как утверждают ее разработчики, находить самые лучшие решения, опираясь на факты и данные. Она нацелена на три основные задачи: повысить удовлетворенность клиентов; сократить время цикла (производственного, операционного); уменьшить число дефектов. Внедрение "Шести сигм" дает значительный экономический эффект. По оценке исполнительного директора корпорации General Electric Джека Уэлча, всего за три года система "Шесть сигм" сэкономила компании более 2 млрд. долларов [38].

Совершенно справедливо эту систему рассматривают как "революционный метод управления качеством". Согласно ей следует стремиться к достижению самого малого (из возможных) разброса контролируемого параметра по сравнению с полем допуска. Точнее, желательно добиться, чтобы ширина поля допуска была по крайней мере в 6 раз больше типового разброса "плюс-минус сигма". Отсюда и название - "Шесть сигм". Соотношение поля допуска с полем разброса (в "сигмах") связывают с числом дефектов (на миллион возможностей) и с выходом годной продукции (в %). Так, 6 "сигм" согласно [38] соответствуют 3,4 дефектов на 1000000 возможностей, выходу годной продукции 99,99966%.

А пока столь высокий уровень качества не достигнут, можно оценивать ситуацию в "сигмах". И промежуточная задача может формулироваться так: с уровня 2,5 "сигма" подняться до уровня 4 "сигма".

Инструменты системы "Шесть сигм". С помощью каких интеллектуальных инструментов достигается успех в системе "Шести сигм"? Перечислим их.

1. Инструменты генерации идей и структурирования информации - экспертные оценки, диаграммы (сродства, древовидные, "рыбий скелет" - схема Исикава), блок-схемы.

2. Инструменты сбора данных - варианты выборочного метода, всевозможные методики измерений (наблюдений, анализов, опытов, испытаний), методы определения "голоса потребителя" (т.е. предпочтений потребителей), контрольные листки, а также инструменты систематизации данных - электронные таблицы и базы данных.

3. Инструменты анализа процессов и данных - анализ течения процесса, добавленной ценности, различные графики и диаграммы. В том числе диаграмма Парето, график временного ряда (тренда), диаграмма разброса (корреляционное поле). Затем - многочисленные инструменты статистического анализа (описание данных, оценивание и проверка статистических гипотез, методы корреляции и регрессии, классификации, снижения размерности, планирования экспериментов, анализа временных рядов, статистики нечисловых и интервальных данных и др.).

4. Инструменты реализации решений и управления процессами. Среди них - методы управления проектами (планирование, бюджетирование, составление графиков, оптимизация коммуникаций, управление коллективом, диаграммы Ганта и др.). А также анализ потенциальных проблем, изучение видов и последствий отказов, анализ заинтересованных сторон, диаграмма поля сил, документирование процесса, сбалансированная система показателей и "приборная" панель процесса.

Таким образом, инструментарий системы "Шести сигм" весьма широк. Эти интеллектуальные инструменты помогают принимать правильные решения, решать проблемы и управлять переменами. Среди них, как следует из проведенного выше перечисления, основное место занимают различные математические методы исследования, прежде всего статистические и экспертные инструменты. Однако нельзя считать, что система "Шести сигм" и инструменты "Шести сигм" - это одно и то же.

В чем новизна системы "Шесть сигм"? Как справедливо подчеркнуто в [38]: возможно, вы говорите себе: "Мы уже давно делаем кое-что из этого". Бесспорно, что многое в концепции "Шести сигм" не ново. Что действительно ново - так это соединение всех этих элементов системы и ее инструментов в согласованный процесс управления.

Действительно, различные виды инструментов повышения эффективности управления организацией, ее подразделениями, отдельными направлениями деятельности известны давно. Чтобы их успешно использовать, НУЖНА СИСТЕМА ВНЕДРЕНИЯ. Необходима тщательно разработанная методика создания и функционирования творческих коллективов, занимающихся анализом ситуации, подбором и внедрением современных инструментов управления. Такая методика и создана в системе "Шесть сигм". В этом и состоит суть нового шага в науке и практике управления предприятием и его подразделениями.

Шесть основных элементов системы "Шесть сигм". Выделяют [38] шесть основных элементов системы "Шесть сигм". Это ориентация на потребителя; управление на основе данных и фактов; процессный подход (где действия, там и процессы); проактивное управление (т.е. основанное на прогнозировании); а также два социально-психологических базисных положения: безграничное сотрудничество и стремление к совершенству без боязни поражений. Каждый из этих элементов сам по себе хорошо известен в теории и практике управления (менеджмента). Дело в системе "Шесть сигм", в которую они объединены. В частности, в этой системе подробно расписаны роли различных участников команды - "черные пояса", "зеленые пояса", "мастера черных поясов", "чемпионы". В самих названиях ролей подчеркнута роль команды проекта по внедрению системы "Шесть сигм", соревнования между подразделениями и специалистами, энтузиазма в работе (аналогичного спортивному азарту), продвижения на основе освоенных знаний и полученных результатов (в спорте - переход от пояса к поясу). Весьма важна основополагающая роль членов высшего руководства компании, лично занимающихся развитием системы "Шесть сигм".

Анализ системы "Шесть сигм" показывает, что, несмотря не некоторое своеобразие терминов, связанное с корнями этой системы (лежащими в проблемах управления качеством), фактически "Шесть сигм" - это глубоко проработанная система внедрения современных подходов к управлению предприятием и его подразделениями, прежде всего контроллинга, на основе широкого и продвинутого использования математических методов исследования. Отметим большое место, которое занимают математические методы исследования, прежде всего статистические и экспертные методы, среди ее инструментов. Система "Шесть сигм" трудоемка, на внедрение нужны годы. Но и эффект велик.

Проблемы внедрения математических методов исследования. Полезно проанализировать изменение представлений о проблемах внедрения современных научных достижений в отечественную практику. В качестве примера для обсуждения рассмотрим теорию и методы планирования эксперимента [37]. Локомотивом работ по планированию эксперимента в нашей стране являлся "незримый коллектив" под руководством В.В. Налимова, основные научные идеи этого коллектива и результаты их практического внедрения подробно описаны в научно-техническом журнале "Заводская лаборатория. Диагностика материалов".

Очевидно, необходим первый этап - разработка самой научной теории до той стадии, когда предлагаемые рекомендации уже можно использовать на практике. Основной результат этого этапа - методические разработки и образцы внедрения. Для планирования эксперимента первый этап в основном завершился к началу 1970-х годов. Термин "завершился" требует уточнения. Научные исследования, разумеется, продолжались и после 1970 г. Они продолжаются сейчас, и будут продолжаться в дальнейшем, поскольку любая научная область может - при наличии энтузиастов - развиваться до бесконечности. Речь о другом - к началу 1970-х годов была создана методическая база для массового внедрения полученных к тому времени научных результатов.

Следующий этап - пропаганда возможностей методов планирования эксперимента, преподавание и подготовка кадров. В [39] рассказано о многочисленных акциях 1960-70-х годов в этом направлении. Казалось, что дальше всё пойдет самотеком. Но не получилось. Широкого потока внедренческих работ не последовало. Блестящие работы не стали образцами для подражания. И не только для планирования эксперимента. Примерно так же развивалась ситуация с внедрением экономико-математических методов. Хотя были и некоторые незначительные отличия. Например, удалось организовать Центральный экономико-математический институт РАН, а вот академического института по планированию эксперимента (и по статистическим методам в целом) нет до сих пор. И Межфакультетская лаборатория статистических методов МГУ им. М.В. Ломоносова, которая занималась развитием теории и практическим внедрением методов планирования эксперимента, расформирована в середине 1970-х годов. Научный Совет АН СССР по комплексной проблеме "Кибернетика" после смерти его основателя А.И. Берга в 1979 г. перестал поддерживать работы по планированию эксперимента. Были и другие примеры того, что организационные успехи по тем или иным причинам не удавалось закрепить [39].

Стало ясно, что создания методов и их пропаганды недостаточно. Выявилась необходимость перехода к третьему этапу в развитии научно-практической дисциплины - этапу разработки организационных форм, обеспечивающих широкое внедрение. Наиболее ярким проявлением этого этапа было создание в 1990 г. Всесоюзной статистической ассоциации (ВСА) с секцией статистических методов, нацеленной на реализацию программы создания сети научно-исследовательских и внедренческих институтов по этой тематике, аналогичной сети метрологических организаций [1]. К сожалению, глобальные планы остались нереализованными из-за развала СССР и развертывания экономических "реформ" 1990-х годов, приведших к сокращению (в разы!) объемов научных исследований и численности работников в сфере науки и научного обслуживания.

Сейчас мы находимся на четвертом этапе. Надо разрабатывать и широко использовать новые организационные формы внедрения математических методов исследования на отдельных предприятиях. С похожими проблемами сталкиваются разработчики крупных информационных систем управления предприятиями (типа SAP R/3, Oracle, JD Edwards, Baan), занимающиеся их внедрением в конкретных организациях. В частности, необходимо создание соответствующей службы под непосредственным началом одного из высших руководителей организации. Недаром внедрение контроллинга - современных методов управления предприятиями - обычно начинается именно с создания службы контроллинга и прорабатывания ее взаимодействия со всеми остальными структурами предприятия [3].

Система "Шесть сигм" ценна, прежде всего, своей организационной составляющей. Той, которой не уделяли внимания на ранних этапах истории внедрения современных математических методов исследования. Эта система дает алгоритмы практической деятельности по организации внедрения. Чем она и интересна для отечественных специалистов.

1. Орлов А.И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. Диагностика материалов. 1992. Т.58. No. 1. С. 67 - 74.

2. Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 1997. Т.63. No. 3. С. 55 - 62.

3. Фалько С.Г., Орлов А.И. "Шесть сигм" как подход к совершенствованию бизнеса // Контроллинг. - 2004. - No.4(12). - С.42-46.

4. Орлов А.И. "Шесть сигм" - новая система внедрения математических методов исследования // Заводская лаборатория. Диагностика материалов. 2006. Т.72. No. 5. С. 50 - 53.

5. Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова, Омега-квадрат и ошибки при их применении / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - No.03(097). С. 647 - 675. - IDA [article ID]: 0971403047. - Режим доступа: http://ej.kubagro.ru/2014/03/pdf/47.pdf

6. Тезисы докладов Четвертой международной Вильнюсской конференции по теории вероятностей и математической статистике. Тт. I - IV. - Вильнюс, 1985.

7. Козлов В.С., Эрлих Я.М., Долгушевский Ф.Г., Полушин И.И. Общая теория статистики. - М.: Статистика, 1975. - 368 с.

8. Пасхавер И.С., Яблочник А.Л. Общая теория статистики. - М.: Финансы и статистика, 1983. - 432 с.

9. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов. - Л.: Медицина, 1978.

10. Орлов А.И. О применении статистических методов в медико-биологических исследованиях // Вестник Академии медицинских наук СССР. 1987. No. 2. С. 88 - 94.

11. Волынский Ю.Д., Курочкина А.И. О месте многомерной статистики в клинико-физиологических исследованиях // Кардиология, 1980. - Т. ХХ, N 5. - С.88-91.

12. Шорников Б.С. Классификация и диагностика в биологическом эксперименте. - М.: Наука, 1979.

13. Любищев А.А. Об ошибках в применении математики в биологии // Журнал общей биологии. - 1969. - Т.30, No. 5. - С.572-584. - No. 6. - С.715-723.

14. Любищев А.А. Дисперсионный анализ в биологии. - М.: МГУ, 1986. - 200 с.

15. Орлов А.И. Система государственных стандартов по прикладной статистике. // Заводская лаборатория. Диагностика материалов. 1986. Т.52. No.3. С.58-61.

16. Петрович М.Л. Регрессионный анализ и его математическое обеспечение на ЕС ЭВМ. - М.: Финансы и статистика, 1982.

17. Орлов А.И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. Диагностика материалов. 2008. Т.74. No. 5. С. 76 - 78.

18. Рекомендации. Прикладная статистика. Методы обработки данных. Основные требования и характеристики. - М.: ВНИИС, 1987. - 64 с.

19. Орлов А.И. Эконометрика. - М.: Экзамен, 2004 (изд. 3-е, испр. и дополн.). - 576 с.

20. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -588 с.

21. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 896 с.

22. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. - 736 с.

23. Розова С.С. Классификационная проблема в современной науке. - Новосибирск: Наука, 1986.

24. Орлов А.И. Некоторые неклассические постановки в регрессионном анализе и теории классификации // Программно-алгоритмическое обеспечение анализа данных в медико-биологических исследованиях. М.: Наука, 1987. C. 27 - 40.

25. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения. - М.: Изд-во стандартов. 1984. - 53 с.

26. Орлов А.И. Состоятельные критерии проверки абсолютной однородности независимых выборок // Заводская лаборатория. Диагностика материалов. 2012. Т.78. No.11. С.66-70.

27. Клайн М. Математика. Утрата определенности. - М.: Мир, 1984. - С.105.

28. Бурбаки Н. Очерки по истории математики. - М.: Изд-во иностранной литературы, 1963. - С.253.

29. Орлов А.И. Как обеспечить единство терминологии? // Стандарты и качество. - 1987. - No. 10. - С.52.

30. Орлов А.И. Термины и определения в области вероятностно-статистических методов // Заводская лаборатория. Диагностика материалов. 1999. Т.65. No.7. С.46-54.

31. Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. - М.: КноРус, 2010. - 192 с.

32. Бобров Н.Е., Лумельский Я.П. Оптимальные планы усеченного контроля по альтернативному признаку // Заводская лаборатория. Диагностика материалов. 1985. Т.51. No. 1. С.42-46.

33. Лумельский Я.П., Орлов А.И. Всесоюзная научно-техническая конференция "Применение статистических методов в производстве и управлении". // Заводская лаборатория. Диагностика материалов. 1984. Т.50. No.12. С.81-82.

34. Стандартизация и применение статистических методов // Стандарты и качество. - 1987. - No. 12. - С. 25.

35. Гнеденко Б.В., Орлов А.И. Роль математических методов исследования в кардинальном ускорении научно-технического прогресса // Заводская лаборатория. 1988. Т.54. No.1. С.1 - 4.

36. Стеблов А.Б. и др. Об использовании прикладной статистики и других статистических методов на металлургическом предприятии // Стандарты и качество. 1988. No. 3. С.43-44.

37. Налимов В.В. Теория эксперимента. - М.: Наука, 1971.

38. Панде П., Холп Л. Что такое "Шесть сигм"? Революционный метод управления качеством / Пер. с англ. - М.: Альпина Бизнес Букс, 2004. - 158 с.

39. Маркова Е.В., Никитина Е.П. Математическая теория эксперимента: история, развитие, будущее // Заводская лаборатория. Диагностика материалов. 2002. Т.68. No.1. С.112-118.

Публикация:

Орлов А.И. Проблемы внедрения математических и инструментальных методов контроллинга // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. No. 107. С. 1017 - 1048.