Математические методы анализа экспертных оценок

Автор работы: Пользователь скрыл имя, 24 Декабря 2011 в 14:38, реферат

Краткое описание

Естественно, что в таких случаях необходимо опираться на опыт, знания и интуицию специалистов, иначе говоря, использовать экспертные методы идентификации и оценки риска. Однако здесь существуют определенные трудности. Люди не мыслят числами, а значит требовать от эксперта ответа в форме числа зачастую практически невозможно. Эксперт может сравнить два объекта, сказать какой из двух лучше, другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений, но не числами. Таким образом, для их анализа следует использовать методы статистики объектов нечисловой природы, о которых и пойдет речь ниже.

Содержание работы

Введение. 3
Глава 1. Экспертные методы. 4
Глава 2. Математические методы анализа экспертных оценок 9
2.1 Проверка согласованности. 9
2.2. Методы средних арифметических и медианных рангов. 13
2.3. Медиана Кемени. 17
2.4. Метод согласования кластеризованных ранжировок. 19
Заключение. 20
Список использованной литературы. 21

Содержимое работы - 1 файл

Методы обработки экспертных оценок.doc

— 230.00 Кб (Скачать файл)

Оглавление

 

Введение.

 

Какова  будет реакция потребителей на рекламную  компанию? Как изменится социальная, технологическая, экологическая, экономическая, политическая ситуация через десять лет? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг будет простираться рукотворная пустыня? Достаточно вдуматься в эту постановку вопроса, проанализировать, как десять лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее, необходимо принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и более лет.

Естественно, что в таких случаях необходимо опираться на опыт, знания и интуицию специалистов, иначе говоря, использовать экспертные методы идентификации и оценки риска. Однако здесь существуют определенные трудности. Люди не мыслят числами, а значит требовать от эксперта ответа в форме числа зачастую практически невозможно. Эксперт может сравнить два объекта, сказать какой из двух лучше, другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений, но не числами. Таким образом, для их анализа следует использовать методы статистики объектов нечисловой природы, о которых и пойдет речь ниже.

 

Глава 1. Экспертные методы.

 

Экспертные  методы идентификации риска нашли  широкое применение при решении  задач идентификации рисков в  связи с тем, что в некоторых  случая еще не собрана статистическая база о частоте негативных событий, возможных ущербах от них, в других – затруднительно системное представление процессов формирования риска. В этих условиях использование статистических и аналитических методов для его идентификации не представляется возможным и приходится призывать на помощь опыт и интуицию специалистов (экспертов).

Экспертные  методы обычно сочетаются с математическими  методами обработки результатов  экспертиз, позволяющими отсеять случайные  решения (выводы), выявить оригинальные мнения экспертов, свободные от влияния устаревших «традиций», установить группы экспертов, придерживающихся сходных или противоположных взглядов на проблему риска и выявить причины такого сходства или различий.

Экспертные  методы по сути своей субъективны. Но поскольку в основе каждого из экспертных суждений лежит некоторая информация о предмете, накопленный опыт и тому подобное, то предполагают, что субъективность мнений может быть устранена путем  их взаимной коррекции, производимой с учетом дополнительных сведений, полученных от других экспертов.

Сущность  экспертного метода оценки показателей  риска заключается в том, что  экспертам предлагают ответить на вопросы  о состоянии или будущем поведении  объектов, характеризующихся неопределенными  параметрами или неизученными свойствами. Мнения экспертов обычно выражены частично в количественной, частично в качественной форме. Важное значение, при оформлении ответов придают формированию оценочной шкалы, используемой экспертами. Оптимальная шкала должна иметь сравнительно небольшое число градаций (от 3 до 8), каждая градация должна сопровождаться краткой текстовой качественной характеристикой.

Экспертные  оценки делят на индивидуальные и коллективные. Как следует из названия, индивидуальные оценки – это оценки одного специалиста, они предполагают независимую работу каждого эксперта. К ним можно отнести такие методы как, например «интервью», аналитические докладные записки. В качестве «примера из жизни» можно привести выставление оценки преподавателем. Остановимся на индивидуальных методах немного подробнее.

Рассмотрим  три метода: метод «интервью», аналитические  докладные записки и написание  сценария.

Метод «интервью» предполагает беседу организатора прогнозной деятельности с экспертом. Целью вопросов является выявление потенциальных источников опасности, факторы безопасности и т.п. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключения по разным вопросам.

Метод аналитических докладных  записок означает самостоятельную работу эксперта над ситуацией. При этом эксперт может использовать всю необходимую ему информацию об объекте. Результатом такой работы является записка с обоснованием возможности проявления неблагоприятного события и нанесения им ущерба. Такой метод мало пригоден для сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста в смежных областях.

Написание сценария, по сути, является модификацией аналитической докладной записки. Он заключается в определении пути развития процесса или явления во времени при разных условиях. Сценарий – это картина последовательного, детально решения задачи, выявление возможных препятствий, недостатков, что предрешит вопрос о прекращении начатых или завершении проводимых работ по анализируемому объекту. Сценарий должен содержать всю исходную информацию, на основе которой строится работа по развитию объекта, он также должен отражать генеральную цель развития объекта, приоритеты проблем и ресурсы для достижения основных целей. Таким образом, сценарий необходим для определения генеральной линии развития объекта. Сценарии, как правило, носят многовариантный характер и освещают три линии поведения: оптимистическую – развитие системы в наиболее благоприятной ситуации; пессимистическую – развитие системы в наименее благоприятной ситуации; рабочую – развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

Следует сказать, что метод написания  сценария относят как к индивидуальным, так и к коллективным экспертным оценкам.

Коллективные  экспертные методы имеют определенные преимущества по сравнению с индивидуальными. Они являются более достоверными, т.к. возможно более глубокое проникновение экспертов в суть проблемы на основе взаимного обогащения друг друга информацией без утраты таких важных качеств, как анонимность и независимость работы экспертов. Методы коллективных экспертных оценок предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Методы  коллективных экспертных оценок включают в себя метод «комиссий», «коллективной  генерации идей» («мозговая атака»), метод «Делфи», матричный метод.

Метод комиссий заключается в том, что группы экспертов обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

«Мозговая атака» («мозговой  штурм») обычно применяют при решении очень сложных, малоизученных проблем, с которыми не под силу справиться каждому из экспертов в одиночку. Этот метод был разработан американцем А.Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Мозговой штурм предполагает реализацию нескольких этапов:

  1. Формирование группы экспертов. Наиболее продуктивными являются группы, состоящие из 10 – 15 человек.
  2. Составляется проблемная записка, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.
  3. Генерация идей. Каждый из участников имеет право выступать много раз. Критика и скептические замечания не допускаются. Продолжительность «штурма» от 20 минут до часа.
  4. Систематизация идей, высказанных на предыдущем этапе.
  5. Деструктурирование систематизированных идей. Каждая из идей подвергается всесторонней критике со стороны группы высококвалифицированных специалистов.
  6. Оценка критических замечаний и составление списка практически реализуемых идей.

Метод «Делфи» - одна из первых попыток разработать более обоснованную и строгую процедуру при экспертном прогнозировании, предпринятая Т.Гордоном и О.Хелмером – сотрудниками одной из корпораций США, которые в 1964 опубликовали результаты обобщения и статистической обработки мнений специалистов относительно перспектив развития в ряде областей науки. Свое название метод получил по древнегреческому городу, который славился своими предсказателями.

Прогнозирование, как правило, проходит в несколько  туров (чаще всего в 4). На первом из них  эксперты пытаются решить поставленную задачу индивидуально. Полученные ответы подвергаются обработке, рассчитываются обобщенные характеристики экспертизы (крайние мнения, среднее, средние квадратические отклонения между предлагаемыми решениями). Обычно после первого тура наблюдается значительный разброс мнений, поэтому процедура и проводится в несколько этапов. В преддверии следующего тура экспертам сообщаются усредненная оценка экспертной комиссии обоснования экспертов, высказавших крайние оценки, причем обоснования представляются анонимно. После получения этой информации эксперты, как правило, корректируют свои оценки. Во втором туре эксперты заново решают поставленную задачу (как правило, после получения информации о первом туре, они корректируют свои оценки). Кроме того, они объясняют, почему они изменили (или оставили без изменения) предыдущее решение.

Результаты обработки ответов экспертов во втором туре вместе с их анонимной аргументацией снова передаются экспертам, и проводится третий тур экспертизы. Все последующие туры проводятся по такой же схеме. Идеально опрос повторяется до совпадения мнений экспертов, реально – до получения наиболее узкого диапазона мнений. Так же по итогам экспертизы мнения экспертов могут разделиться на несколько групп (обычно на две), характеризующихся принципиально разными предлагаемыми решениями.

Описанные выше методы являются основными, но и кроме них есть методы, как индивидуальные, так и коллективные. 

Этапы подготовки и проведения экспертизы 

Качество  получаемых экспертных оценок в значительной степени определяется подготовкой  экспертизы, а также применяемыми методами обработки информации, получаемой от экспертов.

Единых  правил подготовки и  проведения экспертизы нет.

Однако  можно выделить основные этапы ее подготовки и проведения. К ним  относятся:

  • формулировка цели экспертного анализа;
  • формирование группы организаторов экспертизы (выбор научного руководителя и секретаря). Научный руководитель отвечает за организацию и проведение экспертного исследования в целом. Дело секретаря – ведение документации, решение организационных задач;
  • разработка процедур проведения экспертной оценки;
  • подбор экспертов;
  • получение экспертных оценок;
  • обработка результатов опроса и анализ полученных данных;
  • установление степени достижения цели экспертизы.

Наибольший  интерес представляют два этапа: получение экспертных оценок, обработка  результатов опроса и анализ полученных данных.

   
Глава 2. Математические методы анализа экспертных оценок

2.1 Проверка согласованности.

 

Люди  не мыслят числами. В мышлении используются образы, слова, но не числа. Поэтому  требовать от эксперта ответ в  форме числа проблематично. Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Поэтому для их анализа используют методы статистики объектов нечисловой природы.

Важно уметь понять насколько велико различие между мнениями экспертов по одному вопросу. Если различие не велико, то просто усреднение мнений может позволить  выделить общее, что есть у всех, отбросив при этом случайные отклонения в ту или иную сторону. Если же различия велики, то усреднение может не только не помочь, но и привести к ошибочным выводам. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Поэтому обработка результатов опроса в этом случае должна базироваться не на методах, использующих принципы усреднения, а на методах качественного анализа. Таким образом, очень важна проблема проверки согласованности мнений экспертов.

Информация о работе Математические методы анализа экспертных оценок