Статистические методы

Наконец, сравнительно редко используемый применительно  к статистике термин "технологии". Статистический анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, можно выделить следующие этапы: 

- планирование  статистического исследования; 

- организация  сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.); 

- непосредственный  сбор данных и их фиксация  на тех или иных носителях  (с контролем качества сбора  и отбраковкой ошибочных данных  по соображениям предметной области); 

- первичное описание  данных (расчет различных выборочных  характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.), 

- оценивание  тех или иных числовых или  нечисловых характеристик и параметров  распределений (например, непараметрическое  интервальное оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т.е. оценивание функции), 

- проверка статистических  гипотез (иногда их цепочек  - после проверки предыдущей гипотезы  принимается решение о проверке  той или иной последующей гипотезы), 

- более углубленное  изучение, т.е. применение различных  алгоритмов многомерного статистического  анализа, алгоритмов диагностики  и построения классификации, статистики  нечисловых и интервальных данных, анализа временных рядов и  др.; 

- проверка устойчивости  полученных оценок и выводов  относительно допустимых отклонений  исходных данных и предпосылок  используемых вероятностно-статистических  моделей, в частности, изучение  свойств оценок методом размножения  выборок; 

- применение  полученных статистических результатов в прикладных целях (например, для диагностики конкретных материалов, построения прогнозов, выбора инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.), 

- составление  итоговых отчетов, в частности,  предназначенных для тех, кто  не является специалистами в  статистических методах анализа  данных, в том числе для руководства  - "лиц, принимающих решения". 

Возможны и  иные структуризации статистических технологий. Важно подчеркнуть, что квалифицированное  и результативное применение статистических методов - это отнюдь не проверка одной  отдельно взятой статистической гипотезы или оценка параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается статистическая технология. 

Процедура статистического  анализа данных – это информационный технологический процесс, другими  словами, та или иная информационная технология. Статистическая информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящее время об автоматизации всего процесса статистического анализа данных говорить было бы несерьезно, поскольку имеется слишком много нерешенных проблем, вызывающих дискуссии среди статистиков. 

Программное обеспечение статистических методов 

В настоящее  время статистическая обработка  данных проводится, как правило, с  помощью соответствующих программных продуктов. Мы не сочли целесообразным приводить ссылки на те или иные пакеты программ по нескольким причинам. 

Во-первых, популяции  программных продуктов быстро обновляются. Пакеты программ, разработанные 10-15 лет  назад, безнадежно устарели. Новые версии, как правило, весьма отличаются от предшественников десятилетней давности. В то же время лучшие книги 40-60-х годов по статистическим методам остаются актуальными и сейчас. Например, монографии [12-14]. 

Во-вторых, каждый программный продукт обладает определенными достоинствами и недостатками. Как показывает опыт [15], при сравнении нескольких пакетов программ крайне трудно сделать обоснованный вывод о том, какой из них следует предпочесть. 

Необходимо отметить, что между математической и прикладной статистикой имеется и с течением времени углубляется разрыв. Он проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате разрыва специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки. Типовые ошибки при применении критериев согласия Колмогорова и омега-квадрат давно проанализированы в литературе (например, в статье 1985 г. [16] и учебнике [2]). Об удручающих результатах анализа государственных стандартов по статистическим методам управления качеством рассказано в [2]. 

По оценкам  экспертов, распространенные статистические пакеты программ обычно соответствуют  уровню научных исследований 60-70-х годов. В них нет большинства статистических методов, включенных в современные учебники [2, 4]. Впрочем, как показывает практика преподавания, студенты и слушатели легко реализуют новые статистические методы с помощью подручных вычислительных средств. 

О перспективах развития статистических методов 

Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно  возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента. 

Отметим, что  актуальной является задача анализа  истории статистических методов  с целью выявления тенденций  развития и применения их для прогнозирования. 

Ситуация с внедрением современных статистических методов на предприятиях и в организациях различных отраслей народного хозяйства внушает оптимизм. На отечественных предприятиях продолжают развиваться структуры, нуждающиеся в статистических методах, - подразделения качества, надежности, управления персоналом, центральные заводские лаборатории и другие. Толчок к развитию в последние годы получили службы контроллинга, маркетинга и сбыта, логистики, сертификации, прогнозирования и планирования, инноваций и инвестиций, управления рисками, которым также полезны различные статистические методы, в частности, методы экспертных оценок. Включенные в учебник методы необходимы органам государственного и муниципального управления, организациям силовых ведомств, транспорта и связи, медицины, образования, агропромышленного комплекса, научным и практическим работникам всех областей деятельности.