Единое окно доступа к образовательным ресурсам

Квалиметрия: Учебное пособие

Голосов: 4

В пособии рассматриваются вопросы количественной оценки характеристик качества. Предназначено для студентов специальностей 3401 - "Управление качеством", 190800 - "Метрология и метрологическое обеспечение", 521500 - "Менеджмент".

Приведенный ниже текст получен путем автоматического извлечения из оригинального PDF-документа и предназначен для предварительного просмотра.
Изображения (картинки, формулы, графики) отсутствуют.
    


                                                  !

"

                                     17
                                                  1






               7         1


                          89

     Рис. 4.1. Блок схема экспертного оценивания: Э – эксперт; Q – оператор
            оценивания; ОЭ – орган экспертизы; АН – анализ данных
лученная выходная информация поступает на вход анализатора (АН),
представляющего собой группу специалистов, оценивающих качество
принимаемых экспертами решений (достаточность, согласованность) и
необходимость проведения следующего тура оценивания. В группу ана
лиза может входить ЛПР, решение которого становится обязательным
для ОЭ. В общем случае в коллективной экспертизе всегда участвуют
три группы специалистов: руководитель, группа подготовки и анализа
и непосредственно эксперты. Саму экспертизу, можно разделить на три
перекрывающихся этапа:
   –подготовки экспертизы;
   –проведения экспертизы;
   –оценки результатов и принятия решения.
   На каждом из этапов можно уточнять решения, принятые на пре
дыдущем этапе. Эта многоэтапная процедура экспертного оценива
ния на самом деле выглядит гораздо сложнее. Более подробно эти
вопросы рассмотрены в [9,10], в настоящем пособии остановимся на
укрупненном рассмотрении.
   При подготовке экспертизы руководителю и аналитикам группы
подготовки необходимо решать следующие вопросы:
   – определить ситуацию, при которой будет проходить экспертиза,
цели и приоритеты этих целей,
   – определить ожидаемые сценарии развития ситуации,
   – предложить методику отбора будущих экспертов, систему тес
тового оценивания, процедуры повышения, степени согласованнос
ти мнений экспертов. При этом должны учитываться такие характе
ристики эксперта, как независимость, эластичность(возможность пе
реключения с оценки одного показателя на другой), контактность,
мотивированность оценок, креативность (умение решать задачи, ме
тоды решений которых малоизвестны), эвристичность (возможность
выявлять неочевидные решения), предикатность (способность пред

82


видеть будущее решение), всесторонность, объективность, адаптив
ность (способность к коррекции оценок при получении новой инфор
мации), нонконформизм (способность противостоять мнению боль
шинства при уверенности в своей правоте).
    Классификация экспертных процедур может быть построена на
основе ряда критериев:
    1. Индивидуальные и коллективные : критерий – количество эк
спертов.
    2. Однотуровые и многотуровые: критерий – число итераций.
    3. Без обмена информацией и с обменом : критерий – возможность
обмена информацией.
    4. Открытые и анонимные: критерий – степень закрытости.
    На этапе проведения экспертизы непосредственно осуществляет
ся оценка поставленных задач с помощью одного из возможных ме
тодов, чаще всего объединяющего приведенные нами критерии. В чис
ле таких методов можно назвать:
    – методы круглого стола (методы комиссий, «суда»), когда взаи
модействие экспертов, находящихся вместе в одном помещении, ни
чем не регламентируется и за счет обсуждения неверные решения мо
гут быть отброшены,
    – метод мозговой атаки, когда коллективный обмен информаци
ей частично регламентирован, так как любое высказанное мнение не
подлежит обсуждению и не может быть отвергнуто,
    – методы изолированной работы (методы сценариев, прогнозного
графа), когда каждый эксперт высказывает свое мнение изолирован
но, независимо от оценок других экспертов. Степень согласованнос
ти при этом достаточно мала.
    – методы обратной связи (метод Делфи, разработанный Хелме
ром и Делки, его модификации, метод последовательного экспертно
го опроса), когда после первого этапа изолированной экспертной про
цедуры группа аналитиков обрабатывает полученные результаты и
сообщает их всем экспертам для уточнения оценки на следующем
туре. Число туров зависит от сходимости согласованной оценки.
    Среди применяемых методов экспертного оценивания наиболее
широкое применение находят метод Делфи и его модификации.
    Укажем основные отличительные особенности метода Делфи. Про
цедуры, используемые в этом методе, характеризуются анонимнос
тью, регулируемой обратной связью и групповым ответом [4]. Ано
нимность позволяет ослабить влияние наиболее авторитетных экс
пертов. Введение обратной связи делает оценки более надежными,
повышает объективность степени согласованности мнения группы.
При использовании метода Делфи необходимо, чтобы:
                                                               83


   – каждый эксперт располагал одинаковой информацией, доста
точной для осуществления оценки;
   – оценка по каждому вопросу была обоснована экспертом;
   – поставленные вопросы допускали возможность оценки в виде
числа.
   Структура опросных анкет от тура к туру претерпевает изменения
и становится более конкретной.
   В классической форме метода анкета первого тура может вообще
ставить бесструктурные вопросы, относящиеся к началу эксперти
зы, связанные с целями и проблематикой экспертизы. В этом случае
полагают, что эксперты знают проблемную область лучше, чем орга
низаторы экспертизы. Однако такой подход связан с большими не
достатками и возможными ошибками, которые более подробно рас
смотрены в подразд. 4.2. Во втором туре экспертам предлагают их
коллективное мнение, прошедшее через обработку группой аналити
ков, и просят высказать мнение по правильности ранжировки, после
чего аналитики могут оценить статистические характеристики. По
лученные статистики доводятся до сведения всех экспертов. Подоб
ная процедура с уточнением вопросов анкеты и определением тенден
ции к росту согласованности мнений (коэффициент конкордации)
оканчивается, как только достигается заданный уровень коэффици
ента конкордации. При анализе промежуточных результатов проис
ходит формирование группового решения, выделяются группы экс
пертов с близким мнением, выявляются причины разброса мнений,
оценивается качество оценок и компетентность оценок. Некоторые
из возможных методов обработки, полученных в ходе экспертизы
статистических результатов, представлены в подразд. 4.3.
   При анализе сложных систем используются методы решающих
матриц, метод проблемных сетей, методы ПАТТЕРН и КУЭСТ [10].
Эти методы заслуживают отдельного рассмотрения, но в силу направ
ленности учебного пособия не рассматриваются.
   По мере усложнения оцениваемых систем технологии экспертно
го оценивания претерпевают изменение, и нарастает необходимость
обращения к возможностям информационных технологий (разд. 5).

  4.2. Недостатки и возможные ошибки экспертного оценивания
   При появлении нового метода исследования часто наступает ощу
щение эйфории и все стараются использовать его в самых неожидан
ных областях. При этом выясняется, что применение метода приво
дит к большим ошибкам или просто к неверным результатам. В этом
случае начинается критика и отторжение метода. Так, например,

84


произошло с теорией информационной энтропии, когда Шеннону
пришлось выступить со знаменитой статьей «Information Theory isn’t
Band Wagon», в которой он предостерегал от неоправданного рас
пространения теории на экономику и социологию. Примерно то же
самое происходит с применением экспертных оценок. Далеко не все
проблемы могут быть решены с помощью экспертов. Достаточно про
анализировать долгосрочные прогнозы Римского института, при вы
сочайшем уровне экспертов (лучшие в своей области) уровень выпол
нения прогнозов, при глубине прогноза десять лет, не превышает 50
%. Поэтому необходимо представлять характер возможных ошибок
и стараться избегать их при процедуре экспертного оценивания.
               Ошибки при подготовке экспертизы
   1. Излишнее увлечение здравым смыслом по принципу «я знаю
все сам».
   Однако ЛПР не может одинаково профессионально знать все возни
кающие проблемы. Примеры: решение Лигачева об антиалкогольной
компании, гонение на генетику при Лысенко, т. е. следует соблюдать
принцип, что нельзя экономить при стрельбе на прицеливании.
   2. Использование некомпетентных экспертов. Это происходит при
недостаточно серьезном отношении к проведению экспертизы, пло
хой информированности о компетентности экспертов, желании по
тратить минимум средств и т.п.
   3. Нечеткая постановка задачи или отсутствие корректной апри
орной информации.
   4. Стремление остаться в рамках одной экспертной процедуры.
Чаще всего один тур не может дать ответ на поставленные вопросы.
Иногда даже следует организовать параллельную работу нескольких
экспертных комиссий или объединять разные экспертные методы.
   Названные ошибки возникают на первых двух этапах и могут дис
кредитировать саму идею возможности экспертного оценивания. По
этому компетентность всех участников экспертизы, владение тонко
стями технологии проведения экспертизы являются необходимыми
условиями успеха.
               Ошибки, которые могут возникнуть
     на этапе проведения экспертизы и оценки ее результатов
   1. Нарушение принципов теории измерений. При использовании
шкалы предпочтений значения выставленных баллов не являются чис
ловой оценкой. Разница в свойствах никак не определяется расположе
нием в ранжированном ряду. Во избежание подобных ошибок шкала
должна быть не менее слабой, чем шкала интервалов. При групповой
оценке может нарушаться принцип транзитивности, когда первый экс
                                                               85


перт считает, что А П В, второй, что В П С, а третий считает что С П А !
В этом случае эксперты пользуются разными критериями предпочте
ния. В настоящее время разработаны методы, уменьшающие разночте
ния, возникающие при парных сравнениях [10].
   2. Стремление учесть многокритериальность. В процессе экс
пертного оценивания приходится учитывать многокритериаль
ность оценок. При этом прибегают к введению коэффициентов зна
чимости, т. е. прибегают к методу свертки. Точность полученных
результатов оценить очень трудно. Если взвешиваемые критерии
имеют разную физическую природу, то ошибка вообще не может
быть оценена. Поэтому использование метода свертки должно быть
четко регламентировано и возможно только в случае полной уве
ренности в его необходимости.
   3. Неточность процедуры коллективного отбора. Необходимо из
бегать применения правила простого большинства, так при большом
числе экспертов может возникнуть ситуация, когда один из объектов
поставлен на первое место двумя экспертами, а всеми другими на одно
из последних мест, в то время как другие при среднем оценивании
могут оказаться выше. Чтобы избежать такой ситуации следует
пользоваться процедурой ранжирования, а не простым указанием
предпочтения для отдельного эксперта.
   4. Организация информационного взаимодействия. Пополнение ап
риорной информации должно происходить не только за счет поступле
ния новой внешней информации, но и за счет получения информации о
решениях всех экспертов на предыдущем туре экспертизы.
   5. Конформизм или конъюнктурность экспертов. Конформизм зак
лючается в пассивном принятии мнения большинства или авторите
та, предположим, что почти все эксперты поставили высший балл, а
один наиболее авторитетный – низкий, и остальные эксперты согла
сились с мнением одного. Конъюнктурность заключается в получе
нии выгоды для себя или представляемой организации, например,
эксперт представляет фирму, заинтересованную в финансировании.
   6. Неправильная обработка результатов экспертизы. При оце
нивании один и тот же параметр может получить разные оценки.
Проблема состоит в оценке точности полученного результата. При
этом каждый эксперт мог пользоваться своим критерием. Напри
мер, можно точность d определять как разность между истинным
значением – И и оценкой эксперта – Э, можно определять как ло
гарифм их отношения, можно определять как отношение разно
сти к истинному значению. Этот недостаток устраним за счет чет
кой организации экспертизы.

86


   7. Некорректная интерпретация результатов. Иногда результаты
экспертизы используются как исходные данные для корректных ана
литических моделей. Подобная практика приводит к ошибкам из
лишней формализации. Так, например, методы математического про
граммирования требуют задания входной информации в самой мощ
ной статистической шкале отношений, в то время как результаты
экспертизы определены в шкале предпочтений или, в лучшем слу
чае, в шкале разностей. Иногда результаты экспертизы носят фор
мальный характер, когда конечный результат очевиден и все будет
решено в пользу определенной организации. Это типичный случай
управляемой экспертизы, когда необходимо лишь соблюсти правила
игры.
   Для повышения эффективности и точности экспертизы необходи
мо четко пользоваться правилами составления дерева свойств (см.
подразд. 2.3), помня при этом, что при многокритериальной экспер
тизе надо удовлетворить ряду условий, делающих экспертизу кор
ректной. В числе этих условий следует назвать:
   1. Полнота свойства: входящие в набор характеристики должны
обеспечивать адекватную оценку объекта.
   2. Однозначность свойства: смысл характеристики должен оди
наково пониматься и экспертами и ЛПР.
   3. Минимальная размерность: в набор свойств должны включать
ся только те, без которых оценка невозможна.

                4.3. Обработка данных экспертизы
  Методов обработки экспертной информации существует достаточно
много [ 4, 10–12], рассмотрим некоторые наиболее распространен
ные, разделив их на методы численных оценок и методы ранжирова
ния.

               Метод прямых численных оценок
   Этот метод используется для решения любых задач оценки каче
ства. Наиболее часто его применяют для получения значений коэф
фициентов значимости, различных единичных свойств качества.
Сущность метода заключается в сопоставлении каждому единично
му свойству числа, характеризующего его значимость. Пусть в экс
пертизе участвует N, i = 1, …, N экспертов, каждый из которых имеет
свой коэффициент компетентности a и оценивается S, j = 1, …, S
отдельных свойств. Тогда результат экспертизы можно представить
в виде прямоугольной матрицы, в которой строки соответствуют оцен
кам индивидуального свойства всеми экспертами:

                                                                87



    
Яндекс цитирования Яндекс.Метрика