В зависимости от характера и цели исследуемой проблемы факторы, по которым различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые из них), упорядочены по степени их важности и т.д. Несоизмеримость различных факторов обусловлена не только необходимостью применения разных единиц измерения, но и тем, что каждый фактор, выражая определенное свойство, одновременно является оценкой отношения к данному свойству со стороны принимающего решение.

В практике управления во всех его уровнях часто возникают ситуации, когда необходимо принять решение с учетом многих факторов. Вопрос о том, какие именно факторы следует считать наиболее важными, зависит от качественных особенностей объекта решения и целей, которым должно отвечать это решение.

Например, при рассмотрении нескольких вариантов плана или вариантов организационно-технических мероприятий следует принимать во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и т.д. Обычно все разнообразие факторов пытаются привести к однозначной комплексной оценке, причем наиболее удобной и распространенной такой оценкой является денежная.

Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.

В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.

В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в упорядочении элементов исходного множества, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща этому множеству. Необходимым условием решения этой задачи является допущение о транзитивности. Чем полнее упорядочены элементы, тем легче применить логико-математические и комбинаторные методы к решению таких задач.

В зависимости от существа или важности того или иного фактора на этапе подготовки и принятия решений могут быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для оценки же таких факторов, как срок окупаемости или сравнительная эффективность вариантов, может быть использована интервальная шкала; качественные или социальные факторы могут оцениваться по порядковым или номинальным шкалам.

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.